È stato lo stesso Mark Zuckerberg a dare l’annuncio che Meta ha rilasciato in open source un nuovo e migliorato Code Llama, che include un modello più grande con 70B parametri.
Meta ha presentato la prima versione di Code Llama questa estate. Code Llama è un LLM all’avanguardia in grado di generare codice e linguaggio naturale sul codice, sia da codice che da prompt in linguaggio naturale. È gratuito per la ricerca e l’uso commerciale ed è sviluppato sulla base di Llama 2.
Il primo rilascio da parte di Meta è avvenuto in tre dimensioni, con 7, 13 e 34 miliardi di parametri. Ora, per l’appunto, Meta ha annunciato il rilascio di Code Llama 70B, il modello più grande e dalle migliori prestazioni di questa famiglia di LLM allo stato dell’arte.
Code Llama 70B è disponibile nelle stesse tre versioni dei modelli Code Llama rilasciati in precedenza, tutte gratuite per la ricerca e l’uso commerciale:
- CodeLlama – 70B, il modello di codice foundational;
- CodeLlama – 70B – Python, 70B specializzato in Python;
- Code Llama – 70B – Instruct 70B, che è la versione fine-tuned per la comprensione delle istruzioni in linguaggio naturale.
Come ha sottolineato Mark Zuckerberg, la scrittura e la modifica del codice sono oggi uno degli usi più importanti dei modelli di intelligenza artificiale. La capacità di scrivere codice si è dimostrata importante anche per gli stessi modelli di AI, che possono elaborare le informazioni in altri domini in modo più rigoroso e logico.
Code Llama è per l’appunto una versione di Llama 2 specializzata nel codice, creata addestrando ulteriormente Llama 2 sui suoi set di dati specifici per il codice, campionando più dati da quello stesso dataset per un periodo più lungo. Essenzialmente, Code Llama offre capacità di codifica migliorate, costruite sulla base di Llama 2. Può generare codice e linguaggio naturale sul codice, a partire da richieste sia di codice che di linguaggio naturale (ad esempio: “Scrivimi una funzione che produca la sequenza di Fibonacci“). Supporta molti dei linguaggi più diffusi oggi, tra cui Python, C++, Java, PHP, Typescript (Javascript), C# e Bash.
Per quanto riguarda le differenze tra le varie versioni, con 7B, 13B, 34B e 70B parametri, ciascuno di questi modelli è stato addestrato con 500B token di codice e dati relativi al codice, tranne il 70B, che è stato addestrato con 1TB di token.
I modelli rispondono anche a diversi requisiti di servizio e latenza. Il modello 7B, ad esempio, può essere servito da una singola GPU. I modelli 34B e 70B offrono i risultati migliori e consentono una migliore assistenza alla scrittura di codice, ma i modelli più piccoli 7B e 13B sono più veloci e più adatti a compiti che richiedono una bassa latenza, come il completamento del codice in tempo reale.
Secondo Meta, in base ai test di benchmark interni condotti dal team dell’azienda, Code Llama ha ottenuto risultati migliori rispetto agli LLM open source specifici per il codice e ha superato Llama 2. Mostrando di essere alla pari o quanto meno molto vicino ai modelli di ChatGPT.
Ulteriori informazioni e download sono disponibili sul repository GitHub di Code Llama.
