Oggi Mark Zuckerberg ha presentato la gamma di modelli Llama 3.1, aperti e disponibili pubblicamente, di Meta. Llama 3.1 include versioni aggiornate dei modelli 8B e 70B, e introduce anche Llama 3.1 405B, che l’azienda descrive come il modello di base – aperto e disponibile per tutti – più grande e potente. Questi modelli sono multilingue, possiedono una lunghezza del contesto significativamente superiore a 128K, una capacità avanzata di utilizzo degli strumenti e capacità di ragionamento complessive più potenti.
Secondo Meta, Llama 3.1 405B è il primo modello disponibile apertamente in grado di competere con i migliori modelli di intelligenza artificiale per quanto riguarda le capacità più avanzate in termini di conoscenza generale, governabilità, matematica, utilizzo di strumenti e traduzione multilingue. Con il rilascio del modello 405B, l’azienda di Mark Zuckerberg si dice pronta a potenziare l’innovazione, con opportunità di crescita e di esplorazione senza precedenti. Meta ritiene che l’ultima generazione di Llama darà il via a nuove applicazioni e paradigmi di modellazione, tra cui la generazione di dati sintetici per consentire il miglioramento e l’addestramento di modelli più piccoli, nonché la distillazione dei modelli, una capacità che non è mai stata raggiunta su questa scala in open source.
Nell’ambito di quest’ultima release, Meta sta anche introducendo versioni aggiornate dei modelli 8B e 70B. Questi modelli sono multilingue e hanno una lunghezza del contesto significativamente maggiore di 128K, l’uso di strumenti all’avanguardia e capacità di ragionamento complessivamente più forti. Ciò consente ai modelli Meta più recenti di supportare casi d’uso avanzati, come la sintesi di testi lunghi, gli agenti di conversazione multilingue e gli assistenti di programmazione.
Meta ha anche apportato modifiche alla sua licenza, consentendo agli sviluppatori di utilizzare i risultati dei modelli Llama, compreso il 405B, per migliorare altri modelli. Fedeli al suo impegno per l’open source, da oggi Meta mette questi modelli a disposizione della community per il download su llama.meta.com e Hugging Face e per lo sviluppo immediato sull’ampio ecosistema di piattaforme partner.
Per questa release, il team di sviluppo ha valutato le prestazioni su oltre 150 set di dati di riferimento che coprono un’ampia gamma di lingue. Inoltre, Meta ha eseguito valutazioni umane approfondite per confrontare Llama 3.1 con modelli concorrenti in scenari reali. La valutazione sperimentale di Meta – sottolinea l’azienda – indica che il suo modello di punta è competitivo con i principali modelli foundation in una serie di compiti, tra cui GPT-4, GPT-4o e Claude 3.5 Sonnet. Inoltre, i modelli di Meta più piccoli sono competitivi con i modelli chiusi e aperti che hanno un numero simile di parametri.
Essendo il modello più grande di Meta, l’addestramento di Llama 3.1 405B su oltre 15 trilioni di token ha rappresentato una sfida importante per l’azienda. Per consentire il training su questa scala e ottenere i risultati ottenuti in un tempo ragionevole, il team ottimizzato in modo significativo l’intero stack di addestramento e ha spinto il training del modello su oltre 16 mila GPU H100, rendendo il 405B il primo modello Llama addestrato su questa scala.
Meta ha anche ribadito con forza la sua convinzione che l’approccio open dà un’accelerazione all’innovazione. A differenza dei modelli chiusi, i pesi dei modelli Llama sono disponibili per il download. Gli sviluppatori possono personalizzare completamente i modelli per le loro esigenze e applicazioni, addestrare su nuovi set di dati e condurre ulteriori messe a punto. Ciò consente alla comunità degli sviluppatori e al mondo intero di sfruttare al meglio la potenza dell’intelligenza artificiale generativa. Gli sviluppatori possono personalizzare completamente le loro applicazioni ed eseguirle in qualsiasi ambiente, anche on premise, nel cloud o persino localmente su un laptop, il tutto senza condividere i dati con Meta.
Mark Zuckerberg, Founder e CEO di Meta, ha anche firmato e pubblicato una lettera aperta, il cui titolo è significativo ed esplicito: Open Source AI Is the Path Forward.
Meta è consapevole del fatto che, per lo sviluppatore medio, utilizzare un modello della scala del 405B è una sfida. Sebbene si tratti di un modello molto potente, l’azienda riconosce che richiede risorse di calcolo e competenze significative per lavorare. Meta si è confrontata con la community e l’azienda si è resa conto che lo sviluppo dell’intelligenza artificiale generativa non si limita ai modelli di prompting. Meta intende consentire a tutti di trarre il massimo dal 405B, compresi: inferenza in tempo reale e in batch; fine-tuning supervisionato; valutazione del modello per l’applicazione specifica; pre-training continuo; Retrieval-Augmented Generation (RAG); function calling; generazione di dati sintetici.
È qui – mette in evidenza Meta – che l’ecosistema Llama può aiutare. Fin dal primo giorno, gli sviluppatori possono sfruttare tutte le funzionalità avanzate del modello 405B e iniziare a costruire immediatamente. Gli sviluppatori possono anche esplorare flussi di lavoro avanzati come la generazione di dati sintetici di facile utilizzo, seguire le indicazioni chiavi in mano per la distillazione del modello e attivare la RAG senza soluzione di continuità con le soluzioni dei partner, tra cui AWS, NVIDIA e Databricks. Inoltre, Groq ha ottimizzato l’inferenza a bassa latenza per le implementazioni nel cloud, mentre Dell ha ottenuto ottimizzazioni simili per i sistemi on-premise.
Il team di Meta ha inoltre collaborato con progetti chiave della comunità come vLLM, TensorRT e PyTorch per creare un supporto fin dal primo giorno e garantire che la community sia pronta per il deployment in produzione.
