Google: Gemma 2 è ora disponibile per ricercatori e sviluppatori

Nei primi mesi di quest’anno Google ha introdotto Gemma, una famiglia di modelli AI aperti, leggeri e all’avanguardia, costruiti con la stessa ricerca e tecnologia utilizzata per creare i modelli Gemini. Il team ha continuato a far crescere la famiglia Gemma con CodeGemma, RecurrentGemma e PaliGemma, ognuno dei quali offre capacità uniche per diverse attività di intelligenza artificiale ed è facilmente accessibile grazie alle integrazioni con partner come Hugging Face, NVIDIA e Ollama.

Ora l’azienda sta ufficialmente rilasciando Gemma 2 per i ricercatori e sviluppatori di tutto il mondo. Disponibile nelle dimensioni di 9 miliardi (9B) e 27 miliardi (27B) di parametri, Gemma 2 è più performante e più efficiente nell’inferenza rispetto alla prima generazione, con significativi progressi in termini di sicurezza, afferma Google. Secondo il team, a 27B offre alternative competitive a modelli di dimensioni più che doppie, offrendo il tipo di prestazioni che erano possibili solo con modelli proprietari fino a dicembre. E tutto ciò è ora ottenibile con una singola GPU Tensor Core NVIDIA H100 o un host TPU, riducendo in modo significativo i costi di implementazione.

Google, spiega l’azienda, ha costruito Gemma 2 su un’architettura ridisegnata, progettata per garantire prestazioni sorprendenti ed efficienza di inferenza. L’azienda ha messo in evidenza cosa distingue questo modello:

• Prestazioni sorprendenti: Google afferma che, a 27B, Gemma 2 offre le migliori prestazioni per la sua classe di dimensioni e offre persino alternative competitive a modelli di dimensioni più che doppie. Anche il modello 9B Gemma 2 offre prestazioni ai vertici della categoria, superando Llama 3 8B e altri modelli aperti della stessa categoria. Per una descrizione dettagliata delle prestazioni, è possibile consultare la relazione tecnica.
• Efficienza e risparmio: Il modello Gemma 2 27B è progettato per eseguire in modo efficiente l’inferenza a massima precisione su un singolo host Google Cloud TPU, GPU NVIDIA A100 80GB Tensor Core o GPU NVIDIA H100 Tensor Core, riducendo in modo significativo i costi pur mantenendo prestazioni elevate. Ciò consente di realizzare implementazioni di intelligenza artificiale più accessibili e a basso costo.
• Inferenza veloce su ogni hardware: Google sottolinea che Gemma 2 è ottimizzato per funzionare a velocità elevate su una vasta gamma di hardware, dai potenti laptop gaming ai desktop di fascia alta, fino alle configurazioni basate su cloud. È possibile provare Gemma 2 con la massima precisione in Google AI Studio, sbloccare le prestazioni locali con la versione quantizzata con Gemma.cpp sulla propria CPU o provarlo sul proprio computer di casa con una NVIDIA RTX o GeForce RTX tramite Hugging Face Transformers.

Google mette in evidenza anche che Gemma 2 non è solo più potente, ma è stato progettato per integrarsi più facilmente nei flussi di lavoro:

• Aperto e accessibile: Proprio come i modelli Gemma originali, Gemma 2 è disponibile con una licenza commercially-friendly, che offre a sviluppatori e ricercatori la possibilità di condividere e commercializzare le proprie innovazioni.
• Ampia compatibilità con i framework: È possibile utilizzare facilmente Gemma 2 con gli strumenti e i flussi di lavoro preferiti grazie alla compatibilità con i principali framework di intelligenza artificiale come Hugging Face Transformers, JAX, PyTorch e TensorFlow tramite Keras 3.0, vLLM, Gemma.cpp, Llama.cpp e Ollama. Inoltre, Gemma è ottimizzato con NVIDIA TensorRT-LLM per essere eseguito su infrastrutture accelerate da NVIDIA o come microservizio di inferenza NVIDIA NIM, con l’ottimizzazione per NVIDIA NeMo in arrivo. Oggi è possibile effettuare il fine tuning con Keras e Hugging Face. Il team sta lavorando attivamente per abilitare ulteriori opzioni di fine tuning efficienti dal punto di vista dei parametri.
• Deployment senza problemi: A partire dal mese prossimo, i clienti di Google Cloud potranno distribuire e gestire facilmente Gemma 2 su Vertex AI.

È possibile esplorare il nuovo Gemma Cookbook, una raccolta di esempi pratici e ricette che guidano nella creazione delle applicazioni e nella messa a punto dei modelli Gemma 2 per compiti specifici, così come nello scoprire come utilizzare facilmente Gemma con gli strumenti di propria scelta, anche per compiti comuni come la retrieval-augmented generation.

Google sottolinea anche l’impegno da parte dell’azienda nel fornire a sviluppatori e ricercatori le risorse necessarie per costruire e distribuire l’IA in modo responsabile, anche attraverso il Responsible Generative AI Toolkit. LLM Comparator, di recente open-sourced, aiuta sviluppatori e ricercatori nella valutazione approfondita dei modelli linguistici. Ora è possibile utilizzare la libreria Python per eseguire valutazioni comparative con il proprio modello e i propri dati e visualizzare i risultati nell’applicazione. Inoltre, Google sta lavorando attivamente all’open sourcing della tecnologia di watermarking del testo, SynthID, per i modelli Gemma.

Per l’addestramento di Gemma 2 il team ha seguito i solidi processi di sicurezza interni dell’azienda, filtrando i dati di pre-addestramento ed eseguendo test e valutazioni rigorosi rispetto a una serie completa di metriche per identificare e mitigare potenziali pregiudizi e rischi. L’azienda pubblica i suoi risultati su un’ampia serie di benchmark pubblici relativi alla sicurezza e ai danni di rappresentazione.

Google continuerà a esplorare nuove architetture e a sviluppare varianti specializzate di Gemma per affrontare una gamma più ampia di compiti e sfide di intelligenza artificiale. Tra queste, l’imminente modello Gemma 2 con 2.6B parametri, progettato per colmare ulteriormente il divario tra accessibilità leggera e prestazioni potenti (è possibile saperne di più nel report tecnico).

Gemma 2 è ora disponibile in Google AI Studio, in modo da poterne testare tutte le prestazioni a 27B senza requisiti hardware. È inoltre possibile scaricare i pesi dei modelli di Gemma 2 da Kaggle e Hugging Face Models, mentre in Vertex AI Model Garden è in arrivo.

Per consentire l’accesso per la ricerca e lo sviluppo, Gemma 2 è anche disponibile gratuitamente attraverso Kaggle o tramite un livello gratuito per i notebook Colab. I clienti di Google Cloud che si iscrivono per la prima volta possono avere diritto a 300 dollari di crediti. I ricercatori accademici possono candidarsi al Gemma 2 Academic Research Program per ricevere crediti Google Cloud per accelerare la loro ricerca con Gemma 2. Le domande sono aperte fino al 9 agosto.