In occasione di Meta Connect 2024, insieme a diverse altre novità, l’azienda di Mark Zuckerberg ha annunciato il rilascio Llama 3.2, la nuova versione della famiglia di modelli AI che include LLM di visione di piccole e medie dimensioni (11B e 90B) e modelli leggeri di solo testo (1B e 3B) che si adattano a dispositivi edge e mobili, comprese le versioni pre-trained e instruction-tuned.
I modelli Llama 3.2 1B e 3B supportano contesti di lunghezza pari a 128K token e secondo Meta rappresentano lo stato dell’arte nella loro categoria per i casi d’uso on-device, come la riepilogazione, l’instruction following e le attività di riscrittura eseguite localmente sul dispositivo edge.
Meta afferma che, supportati da un ampio ecosistema, i modelli di visione Llama 3.2 11B e 90B sono in grado di sostituire i corrispondenti modelli di testo, superando i compiti di comprensione delle immagini rispetto ai modelli chiusi, come Claude 3 Haiku. A differenza di altri modelli multimodali aperti, sia i modelli pre-addestrati che quelli allineati possono essere messi a punto per applicazioni personalizzate con torchtune e distribuiti localmente con torchchat.
Meta sta inoltre condividendo le prime distribuzioni ufficiali di Llama Stack, che secondo l’azienda semplificheranno notevolmente il modo in cui gli sviluppatori lavorano con i modelli Llama in diversi ambienti, tra cui single-node, on-prem, cloud e on-device, consentendo il “deployment chiavi in mano” di applicazioni di retrieval-augmented generation (RAG) e tool-enabled con sicurezza integrata.
Il team di Meta ha lavorato a stretto contatto con partner come AWS, Databricks, Dell Technologies, Fireworks, Infosys e Together AI per creare distribuzioni di Llama Stack per i loro clienti enterprise downstream. La distribuzione su dispositivo avviene tramite PyTorch ExecuTorch, mentre la distribuzione su singolo nodo avviene tramite Ollama.
L’azienda di Mark Zuckerberg è intenzionata a continuare a condividere il suo lavoro perché ritiene che l’apertura sia alla base dell’innovazione e sia un bene per gli sviluppatori, Meta e il mondo intero. Meta ritiene che Llama sia già all’avanguardia per quanto riguarda l’approccio open, la modificabilità e l’efficienza dei costi, consentendo a un maggior numero di persone di ottenere risultati creativi, utili e in grado di cambiare la vita grazie all’IA generativa.
Meta sta rendendo i modelli di Llama 3.2 disponibili per il download su llama.com e Hugging Face, oltre che disponibili per lo sviluppo immediato sull’ampio ecosistema di piattaforme partner, tra cui AMD, AWS, Databricks, Dell, Google Cloud, Groq, IBM, Intel, Microsoft Azure, NVIDIA, Oracle Cloud, Snowflake e altri ancora.
I due modelli più grandi della collezione Llama 3.2, 11B e 90B, supportano casi d’uso di image reasoning, come la comprensione a livello di documento, compresi grafici e diagrammi, la didascalia delle immagini e compiti di visual grounding, come l’individuazione direzionale di oggetti nelle immagini sulla base di descrizioni in linguaggio naturale. Ad esempio, una persona potrebbe chiedere quale mese dell’anno precedente la sua piccola impresa ha registrato le vendite migliori e Llama 3.2 potrebbe ragionare sulla base di un grafico disponibile e fornire rapidamente la risposta.
In un altro esempio, il modello potrebbe ragionare con una mappa e aiutare a rispondere a domande come quando un’escursione potrebbe diventare più ripida o la distanza di un particolare sentiero segnato sulla mappa. I modelli 11B e 90B possono anche colmare il divario tra la visione e il linguaggio, estraendo dettagli da un’immagine, comprendendo la scena e quindi creando una frase o due che potrebbero essere utilizzate come didascalia dell’immagine per aiutare a raccontare la storia.
I modelli leggeri 1B e 3B sono altamente capaci di generare testo multilingue e di tool calling. Questi modelli – spiega Meta – consentono agli sviluppatori di creare applicazioni basate su agenti personalizzate sul dispositivo con una forte privacy, in cui i dati non lasciano mai il dispositivo. Ad esempio, un’applicazione di questo tipo potrebbe aiutare a riassumere gli ultimi 10 messaggi ricevuti, a estrarre i punti di azione e a sfruttare la funzione di tool calling per inviare direttamente inviti a riunioni di follow-up.
L’esecuzione di questi modelli a livello locale comporta due grandi vantaggi, sottolinea Meta. In primo luogo, le richieste e le risposte possono sembrare istantanee, poiché l’elaborazione avviene localmente. In secondo luogo, l’esecuzione dei modelli a livello locale mantiene la privacy, in quanto non invia al cloud dati come i messaggi e le informazioni del calendario, rendendo l’applicazione complessiva più riservata. Poiché l’elaborazione è gestita localmente, l’applicazione può controllare chiaramente quali query rimangono sul dispositivo e quali devono essere elaborate da un modello più grande nel cloud.
Informazioni dettagliate sui nuovi modelli Llama 3.2 e benchmark sono disponibili nel blog di Meta AI.
