Senza annunci particolari o presentazioni spettacolari, NVIDIA ha di recente rilasciato su Hugging Face un nuovo modello di intelligenza artificiale basato su Llama: Llama-3.1-Nemotron-70B-Instruct.
Non si tratta di un modello sviluppato in casa da NVIDIA, come si può intuire dal nome: Llama-3.1-Nemotron-70B-Instruct è infatti un modello linguistico di grandi dimensioni che l’azienda specializzata in GPU, AI e accelerated computing ha customizzato al fine di migliorare l’utilità delle risposte generate dall’LLM alle domande degli utenti.
Poteva dunque passare anche inosservato, se non fosse stato per le prestazioni. NVIDIA dichiara che questo modello raggiunge punteggi elevati in benchmark significativi, tra cui 85,0 in Arena Hard, 57,6 per AlpacaEval 2 LC e uno score GPT-4-Turbo MT-Bench di 8,98. Alla data del 1° ottobre 2024, sottolinea ancora NVIDIA, questo modello è al primo posto in tutti e tre i benchmark di allineamento automatico, superando modelli di frontiera forti come GPT-4o e Claude 3.5 Sonnet.
Questo ha chiaramente suscitato un forte interesse da parte di osservatori, utenti e appassionati. Questo modello è stato addestrato da NVIDIA utilizzando tecniche sofisticate di training, tra cui il Reinforcement Learning from Human Feedback (RLHF), ovvero apprendimento per rinforzo da feedback umano.
Questo metodo combina l’apprendimento per rinforzo tradizionale con l’intervento umano per migliorare il comportamento di un modello AI. Il “feedback” dell’acronimo è infatti fornito direttamente da esseri umani, che valutano le risposte dell’AI al fine di migliorare la sua performance. L’aspetto interattivo della valutazione e del giudizio umani rende il metodo RLHF particolarmente utile per applicazioni dell’AI più qualitative, come per l’appunto chatbot, sistemi di raccomandazione e modelli di linguaggio.
È possibile utilizzare il modello utilizzando la libreria HuggingFace Transformers con 2 o più GPU da 80 GB (NVIDIA Ampere o più recenti) con almeno 150 GB di spazio libero su disco per ospitare il download. Ed è altresì possibile provare gratuitamente l’inferenza ospitata su build.nvidia.com, che è dotata di un’interfaccia API compatibile con OpenAI.
I dettagli sul modello customizzato da NVIDIA sono consultabili nel paper pubblicato dai ricercatori e dagli scienziati dell’azienda.
