Lo scorso febbraio Google ha introdotto Lyra, descritto dalla società di Mountain View come un nuovo e rivoluzionario codec audio che utilizza il machine learning per produrre chiamate vocali di alta qualità.
Ora, per rendere il codec universalmente disponibile, Google ha annunciato di aver rilasciato Lyra in open source, cosa che permetterà ad altri sviluppatori di potenziare le loro app di comunicazione ed estendere l’evoluzione di Lyra.
Questa release fornisce gli strumenti necessari agli sviluppatori per codificare e decodificare l’audio con Lyra, ottimizzati per la piattaforma ARM Android a 64 bit, con sviluppo su Linux. Google ha parallelamente espresso la volontà di espandere questo codebase e di sviluppare miglioramenti e supporto per altre piattaforme, in collaborazione con la community.
L’architettura di Lyra, ha spiegato Google, è separata in due parti, l’encoder e il decoder. Quando qualcuno parla al telefono, l’encoder cattura le caratteristiche distintive del discorso, che vengono estratte in pezzi di 40ms che sono a loro volta poi compressi e inviati sulla rete.
Il compito del decoder è quello di convertire attraverso un modello generativo tali caratteristiche in una forma d’onda audio che può essere riprodotta dall’altoparlante del telefono dell’ascoltatore. I modelli generativi sono un particolare tipo di modello di machine learning adatto a ricreare una forma d’onda audio completa da un numero limitato di caratteristiche.
L’architettura di Lyra, ha aggiunto Google, è molto simile ai codec audio tradizionali che hanno formato la spina dorsale della comunicazione su Internet per decenni. Tuttavia, mentre questi codec tradizionali sono basati su tecniche di elaborazione del segnale digitale (DSP), il vantaggio chiave per Lyra deriva dalla capacità del modello generativo di ricostruire un segnale vocale di alta qualità.
Google ha rilasciato Lyra come versione beta per raggiungere subito gli sviluppatori e ottenere un feedback il prima possibile. Di conseguenza, l’API e il bitstream è probabile che cambino man mano che lo sviluppo procederà.
Tutto il codice per l’esecuzione di Lyra è open source sotto la licenza Apache, ad eccezione di un kernel math per il quale viene fornita una libreria condivisa fino a quando Google non sarà in grado di implementare una soluzione completamente open su più piattaforme.
Il codice di Lyra è scritto in C++ usando il framework Bazel con Abseil e il framework GoogleTest per i test. L’API di base fornisce un’interfaccia per la codifica e la decodifica a livello di file e di pacchetto. Viene anche fornita la completa toolchain di elaborazione del segnale, che include vari filtri e trasformazioni.
L’applicazione di esempio si integra con l’Android NDK per mostrare come integrare il codice nativo di Lyra in un’applicazione Android basata su Java.
