Databricks – la piattaforma di data intelligence – ha annunciato il rilascio e l’open sourcing di DBRX, un modello linguistico di grandi dimensioni (LLM) general purpose sviluppato dal team Mosaic Research dell’azienda.
Databricks ritiene che questo LLM superi tutti i modelli open source consolidati su benchmark standard e che ciò consenta di realizzare un’intelligenza artificiale generativa personalizzabile e trasparente per tutte le aziende.
L’azienda basa questa affermazione su tre motivi distinti. In primo luogo, secondo Databricks DBRX batte nettamente i modelli open source, come LLaMA2-70B, Mixtral e Grok-1, per quanto riguarda la comprensione del linguaggio, la programmazione, la matematica e la logica. Il benchmark open source Gauntlet dell’azienda contiene più di 30 benchmark distinti state-of-the-art (SOTA) e DBRX supera tutti questi modelli. Questo dimostra – sostiene Databricks – che i modelli open source continuano a migliorare la loro qualità.
In secondo luogo, DBRX batte GPT-3.5 nella maggior parte dei benchmark. Questo dato secondo Databricks è importante perché nell’ultimo trimestre l’azienda ha assistito a un importante cambiamento comportamentale tra gli oltre 12.000 clienti. Le aziende e le organizzazioni stanno sempre più sostituendo i modelli proprietari con modelli open source per ottenere maggiore efficienza e controllo. Secondo l’esperienza del team, molti clienti possono superare la qualità e la velocità dei modelli proprietari personalizzando i modelli open source sulle loro attività specifiche. E DBRX potrebbe accelerare ulteriormente questa tendenza.
In terzo luogo, DBRX è un modello Mixture-of-Experts (MoE) costruito sul progetto di ricerca e open source MegaBlocks, cosa che lo rende estremamente veloce in termini di token/secondo, sottolinea Databricks. Il team ritiene che questo aprirà la strada a modelli open source MoE all’avanguardia in futuro e che ciò rappresenti un aspetto significativo, perché consente essenzialmente di addestrare modelli più grandi e di servirli con un throughput più veloce. DBRX utilizza solo 36 miliardi di parametri in qualsiasi momento. Ma il modello stesso è composto da 132 miliardi di parametri, il che consente di avere un equilibrio ottimale in termini di velocità (token/secondo) e prestazioni (qualità).
Questi tre motivi portano Databricks a ritenere che gli LLM open source continueranno a guadagnare terreno. In particolare, che rappresentino un’interessante opportunità per le organizzazioni di personalizzare LLM open source che possono diventare la loro proprietà intellettuale, da utilizzare per essere competitivi nel proprio settore.
Per questo il team ha progettato DBRX in modo che sia facilmente personalizzabile e che le aziende possano migliorare la qualità delle loro applicazioni AI. Sulla piattaforma Databricks, le aziende possono interagire con DBRX, sfruttare le sue capacità di contesto lungo nei sistemi RAG e costruire modelli custom sui propri dati privati. Queste capacità di personalizzazione sono alimentate da quella che l’azienda definisce la più efficiente piattaforma di training MoE disponibile in commercio. La community può accedere a DBRX attraverso il repository github e Hugging Face.
Il team ha sviluppato DBRX interamente su Databricks, in modo che ogni azienda possa utilizzare gli stessi strumenti e tecniche per creare o migliorare i propri modelli di alta qualità. I dati di addestramento sono stati gestiti centralmente in Unity Catalog, elaborati e puliti con Apache Spark e Lilac AI, di recente acquisizione. Il training e fine-tuning dei modelli su larga scala hanno utilizzato il servizio Mosaic AI Training. Il feedback umano per la qualità e la sicurezza è stato raccolto attraverso Mosaic AI Model Serving e Inference Tables. Clienti e partner come JetBlue, Block, NASDAQ e Accenture utilizzano già questi stessi strumenti per costruire sistemi di intelligenza artificiale di alta qualità, mette in evidenza Databricks.
Per saperne di più, è possibile leggere il blog tecnico del team, accedere al modello, partecipare al webinar DBRX e leggere la documentazione (AWS | Azure) su come iniziare con DBRX su Databricks.
