Liquid AI è una startup con sede a Boston, spin-off del MIT, specializzata nella realizzazione di foundation model, la cui missione dichiarata è quella di sviluppare sistemi di intelligenza artificiale general-purpose capaci ed efficienti su qualsiasi scala.
L’azienda ha ora annunciato i Liquid Foundation Model, LFM, la sua prima serie di modelli di intelligenza artificiale generativa. L’azienda presenta i nuovi modelli 1B, 3B e 40B come una nuova generazione di modelli generativi di intelligenza artificiale che raggiungono prestazioni all’avanguardia su ogni scala, mantenendo un ingombro di memoria ridotto e un’inferenza più efficiente.
Liquid AI – sottolinea l’azienda – lavora per costruire nuovi metodi per progettare potenti sistemi di intelligenza artificiale sui quali ha un controllo significativo. Li progetta nello stesso modo in cui gli ingegneri costruiscono motori, automobili e aeroplani: partendo da principi primi. La mission della startup è quella di creare sistemi intelligenti ed efficienti, i migliori della categoria e su ogni scala, progettati per elaborare grandi quantità di dati sequenziali multimodali, per consentire ragionamenti avanzati e per ottenere processi decisionali affidabili.
Quelli ora presentati rappresentano la prima generazione di Liquid Foundation Model (LFM). Gli LFM – spiega l’azienda – sono reti neurali di grandi dimensioni costruite con unità computazionali profondamente radicate nella teoria dei sistemi dinamici, nell’elaborazione dei segnali e nell’algebra lineare numerica. Questa miscela unica, secondo Liquid AI permette di sfruttare decenni di progressi teorici in questi campi nel tentativo di rendere possibile l’intelligenza su qualsiasi scala.
Gli LFM sono modelli di intelligenza artificiale di uso generale che possono essere utilizzati per modellare qualsiasi tipo di dati sequenziali, compresi video, audio, testi, serie temporali e segnali. Il nome “Liquid” rende omaggio alle radici del team nei sistemi di apprendimento dinamico e adattivo.
Per quanto riguarda i nuovi modelli, il primo è un modello “denso” da 1.3B, ideale per ambienti con risorse limitate. Poi c’è un modello denso da 3.1B, ottimizzato per il deployment all’edge. Infine, un modello Mixture of Experts (MoE) da 40.3B, progettato per affrontare compiti più complessi.
Liquid AI ha riportato i risultati dei suoi LFM con fine-tuning sul proprio sito e li ha confrontati con modelli linguistici di dimensioni simili utilizzando lm-evaluation-harness v0.4 di Eleuther AI. LFM-1B ottiene i punteggi più alti nei vari benchmark della categoria 1B, diventando così il nuovo modello all’avanguardia per queste dimensioni. È la prima volta – sottolinea l’azienda – che un’architettura non GPT supera in modo significativo i modelli basati su transformer.
LFM-3B, secondo i benchmark di Liquid AI, offre prestazioni sorprendenti per le sue dimensioni. Si posiziona al primo posto tra i transformer a parametri 3B, gli ibridi e i modelli RNN, ma supera anche la precedente generazione di modelli 7B e 13B. Inoltre, è alla pari con Phi-3.5-mini su diversi benchmark, pur essendo più piccolo del 18,4%. LFM-3B è la scelta ideale per le applicazioni mobili e per quelle basate sul testo.
LFM-40B offre secondo Liquid AI un nuovo equilibrio tra le dimensioni del modello e la qualità della produzione. Sfrutta 12B parametri attivati durante l’uso e le sue prestazioni sono paragonabili a modelli più grandi, mentre la sua architettura MoE consente un throughput più elevato e l’implementazione su hardware più economico.
Gli LFM hanno un ingombro di memoria ridotto rispetto alle architetture transformer. Ciò è particolarmente vero per gli input lunghi, dove la cache KV negli LLM basati su transformer cresce linearmente con la lunghezza della sequenza. Comprimendo in modo efficiente gli input, gli LFM possono elaborare sequenze più lunghe con lo stesso hardware. Ad esempio, sottolinea Liquid AI, rispetto ad altri modelli di classe 3B, gli LFM mantengono un ingombro di memoria minimo.
In questa versione di preview, il team ha ottimizzato i modelli per offrire una lunghezza del contesto dei token di 32k, che Liquid AI definisce la migliore della categoria, spingendo i confini dell’efficienza in relazione alle dimensioni. Inoltre, per ottenere risultati all’avanguardia, il team ha ottimizzato le pipeline e l’infrastruttura pre e post-training per garantire che i modelli eccellano in diversi criteri relativi sia alle capacità che all’efficienza.
Sulla base di una lunga serie di ricerche sulla progettazione di sistemi di apprendimento espressivi ed efficienti, Liquid AI ha inteso sviluppare un nuovo spazio di progettazione per i modelli foundation, concentrandosi su diverse modalità e requisiti hardware. L’obiettivo del team è di esplorare modi per costruire modelli di base che vadano oltre i transformer generativi pre-addestrati (GPT). Con gli LFM, l’azienda vuole mettere in pratica i nuovi principi e metodi che guidano la progettazione dei modelli, sviluppati dal team negli ultimi mesi.
Liquid AI sottolinea che questo lavoro di sviluppo è ancora nelle fasi iniziali. I punti di forza degli LFM linguistici oggi sono: conoscenze generali ed esperte; matematica e ragionamento logico; compiti efficienti ed efficaci in contesti lunghi; la loro lingua principale è l’inglese, con capacità secondarie multilingue in spagnolo, francese, tedesco, cinese, arabo, giapponese e coreano. Language LFM oggi sono meno capaci in: compiti di coding zero-shot; calcoli numerici precisi; informazioni sensibili al tempo; contare le r nella parola “Strawberry”; le tecniche di ottimizzazione delle preferenze umane non sono ancora state applicate in modo estensivo ai modelli.
Liquid AI adotta un approccio open-science. L’azienda ha contribuito e continuerà a contribuire al progresso del campo dell’AI pubblicando apertamente i suoi risultati e metodi attraverso relazioni scientifiche e tecniche. Come parte di questo impegno, rilascerà i dati e i modelli rilevanti prodotti dai suoi sforzi di ricerca alla più ampia comunità dell’AI. L’azienda sottolinea che ha però dedicato molto tempo e risorse allo sviluppo di queste architetture, quindi al momento non offre i suoi modelli in open-sourcing. Questo permette di continuare a costruire sui suoi progressi e di mantenere il suo vantaggio nel panorama competitivo dell’AI.
È possibile provare gli LFM su Liquid Playground, e anche su Lambda API, Perplexity Labs e presto su Cerebras Inference. Lo stack LFM è in fase di ottimizzazione per l’hardware di Nvidia, AMD, Qualcomm, Cerebras e Apple.
Ulteriori informazioni sono disponibili sul sito di Liquid AI.
