Come afferma Microsoft, il ragguardevole aumento delle dimensioni dei modelli linguistici fino a centinaia di miliardi di parametri ha sbloccato una serie di capacità emergenti che hanno ridefinito il panorama dell’elaborazione del linguaggio naturale. Rimane da chiedersi se tali capacità emergenti possano essere ottenute su scala più piccola utilizzando scelte strategiche per il training, ad esempio la selezione dei dati.
L’ambito di lavoro di Microsoft Research con i modelli Phi mira a rispondere a questa domanda, addestrando SLM (small language model, modelli linguistici piccoli) che raggiungono prestazioni pari a modelli di scala molto più elevata (ma ancora distanti dai modelli di frontiera).
Negli ultimi mesi, il team Machine Learning Foundations di Microsoft Research ha rilasciato una suite di SLM denominati per l’appunto “Phi”, che hanno ottenuto prestazioni notevoli su una serie di benchmark. Il primo modello, il Phi-1 da 1,3 miliardi di parametri, ha ottenuto prestazioni all’avanguardia nella codifica Python tra i modelli SLM esistenti (in particolare nei benchmark HumanEval e MBPP), sottolinea il team.
Microsoft Research ha poi esteso la sua attenzione al ragionamento di senso comune e alla comprensione del linguaggio e ha creato un nuovo modello da 1,3 miliardi di parametri, chiamato Phi-1.5, con prestazioni paragonabili a modelli 5 volte più grandi, mette in evidenza il team.
Di recente, Microsoft Research ha rilasciando Phi-2, un language model da 2,7 miliardi di parametri che dimostra secondo il team straordinarie capacità di ragionamento e comprensione del linguaggio, mostrando prestazioni all’avanguardia tra i modelli linguistici di base con meno di 13 miliardi di parametri.
Su benchmark complessi Phi-2 eguaglia o supera modelli fino a 25 volte più grandi, sottolinea Microsoft, grazie a nuove innovazioni nello scaling del modello e nella cura dei dati di addestramento.
Secondo il team di Microsoft Research, grazie alle sue dimensioni compatte Phi-2 è un playground ideale per i ricercatori, anche per l’esplorazione dell’interpretabilità meccanicistica, i miglioramenti della sicurezza o la sperimentazione nel fine-tuning su una varietà di tasks.
Microsoft Research ha reso disponibile Phi-2 nel catalogo dei modelli di Azure AI Studio per favorire la ricerca e lo sviluppo di modelli linguistici. E ha inoltre reso disponibili sul proprio blog ulteriori dettagli sul modello, sul suo training e sulla sua performance.
Si tratta, a quanto pare, di un modello compatto ma potente: con una dimensione di soli 2,7B parametri, Phi-2 supererebbe le prestazioni dei modelli Mistral e Llama-2 con 7B e 13B parametri su vari benchmark, da test interni di Microsoft che l’azienda ha condiviso.
Inoltre, sostiene il team di Microsoft, Phi-2 eguaglia o supera anche le prestazioni del modello Gemini Nano 2, annunciato di recente da Google, nonostante le dimensioni più ridotte.
