NVIDIA ha annunciato che i 28 milioni di sviluppatori di tutto il mondo possono ora scaricare NVIDIA NIM – microservizi di inferenza che forniscono modelli come container ottimizzati – per distribuirli su cloud, data center o workstation, dando loro la possibilità di creare facilmente applicazioni di IA generativa per copilot, chatbot e altro ancora, in pochi minuti anziché in settimane.
Queste nuove applicazioni di AI generativa stanno diventando sempre più complesse e spesso utilizzano più modelli con diverse capacità di generare testo, immagini, video, voce e altro ancora. NVIDIA NIM aumenta drasticamente la produttività degli sviluppatori fornendo un metodo semplice e standardizzato per aggiungere l’IA generativa alle loro applicazioni.
NIM consente inoltre alle aziende di massimizzare gli investimenti in infrastrutture. Per esempio, afferma NVIDIA: l’esecuzione di Meta Llama 3-8B in un NIM produce fino a tre volte più token di IA generativa su un’infrastruttura accelerata rispetto all’esecuzione senza NIM. Ciò consente alle aziende di aumentare l’efficienza e di utilizzare la stessa quantità di infrastruttura di calcolo per generare più risposte.
Quasi 200 partner tecnologici – tra cui Cadence, Cloudera, Cohesity, DataStax, NetApp, Scale AI e Synopsys – stanno integrando NIM nelle loro piattaforme per accelerare le implementazioni dell’IA generativa per applicazioni specifiche del settore, come copilot, assistenti al codice e avatar umani digitali. Hugging Face offre ora NIM, a partire da Meta Llama 3.
“Ogni azienda sta cercando di aggiungere l’IA generativa alle proprie operazioni, ma non tutte dispongono di un team dedicato di ricercatori di IA“, ha dichiarato Jensen Huang, fondatore e CEO di NVIDIA. “Integrato in piattaforme di ogni tipo, accessibile agli sviluppatori di ogni tipo, in esecuzione ovunque – NVIDIA NIM sta aiutando l’industria tecnologica a mettere l’IA generativa a portata di mano di ogni organizzazione“.
Le aziende possono implementare applicazioni di AI in produzione con NIM attraverso la piattaforma software NVIDIA AI Enterprise. A partire dal mese prossimo, i membri dell’NVIDIA Developer Program potranno accedere gratuitamente a NIM per la ricerca, lo sviluppo e il testing sulla loro infrastruttura preferita.
Più di 40 microservizi NIM alimentano i modelli di intelligenza artificiale
I container NIM sono precostituiti per accelerare l’implementazione dei modelli per l’inferenza accelerata dalle GPU e possono includere software NVIDIA CUDA, NVIDIA Triton Inference Server e NVIDIA TensorRT-LLM.
Oltre 40 modelli NVIDIA e della community sono disponibili come endpoint NIM su ai.nvidia.com, fra cui Databricks DBRX, il modello aperto Gemma di Google, Meta Llama 3, Microsoft Phi-3, Mistral Large, Mixtral 8x22B e Snowflake Arctic.
Gli sviluppatori possono ora accedere ai microservizi NVIDIA NIM per i modelli Meta Llama 3 dalla piattaforma Hugging Face AI. Ciò consente agli sviluppatori di accedere ed eseguire facilmente il NIM di Llama 3 con pochi clic utilizzando gli endpoint di inferenza di Hugging Face, alimentati dalle GPU NVIDIA sul loro cloud preferito.
Le aziende possono utilizzare NIM per eseguire applicazioni per la generazione di testo, immagini e video, parlato e umani digitali. Con i microservizi NIM NVIDIA BioNeMo per la biologia digitale, i ricercatori possono costruire nuove strutture proteiche per accelerare la scoperta di farmaci.
Decine di aziende del settore sanitario stanno implementando NIM per alimentare l’inferenza dell’intelligenza artificiale generativa in una serie di applicazioni, fra cui la pianificazione chirurgica, gli assistenti digitali, la scoperta di farmaci e l’ottimizzazione degli studi clinici.
Con i nuovi microservizi NIM NVIDIA ACE, gli sviluppatori possono facilmente costruire e gestire esseri umani digitali interattivi e realistici in applicazioni per il servizio clienti, la telemedicina, l’istruzione, i giochi e l’intrattenimento.
Centinaia di partner dell’ecosistema AI incorporano NIM
I fornitori di piattaforme, tra cui Canonical, Red Hat, Nutanix e VMware (acquisita da Broadcom), supportano NIM su KServe open-source o su soluzioni aziendali. Anche le aziende produttrici di applicazioni di AI, Hippocratic AI, Glean, Kinetica e Redis, stanno implementando NIM per alimentare l’inferenza dell’AI generativa.
I principali strumenti di IA e partner MLOps – tra cui Amazon SageMaker, Microsoft Azure AI, Dataiku, DataRobot, deepset, Domino Data Lab, LangChain, Llama Index, Replicate, Run.ai, Saturn Cloud, Securiti AI e Weights & Biases – hanno anch’essi integrato NIM nelle loro piattaforme per consentire agli sviluppatori di creare e distribuire applicazioni di IA generativa specifiche per il dominio con inferenza ottimizzata.
Gli integratori di sistemi globali e i partner di fornitura di servizi Accenture, Deloitte, Infosys, Latentview, Quantiphi, SoftServe, Tata Consultancy Services (TCS) e Wipro hanno creato competenze NIM per aiutare le imprese di tutto il mondo a sviluppare e implementare rapidamente strategie di IA di produzione. Sottolinea NVIDIA.
Le imprese possono eseguire le applicazioni NIM praticamente ovunque, anche sui sistemi certificati NVIDIA dei produttori di infrastrutture globali Cisco, Dell Technologies, Hewlett-Packard Enterprise, Lenovo e Supermicro, nonché dei produttori di server ASRock Rack, ASUS, GIGABYTE, Ingrasys, Inventec, Pegatron, QCT, Wistron e Wiwynn. I microservizi NIM sono stati integrati anche in Amazon Web Services, Google Cloud, Azure e Oracle Cloud Infrastructure.
Gli sviluppatori possono sperimentare gratuitamente i microservizi NVIDIA su ai.nvidia.com. Le aziende possono implementare microservizi NIM production-grade con NVIDIA AI Enterprise in esecuzione su sistemi certificati NVIDIA e sulle principali piattaforme cloud. A partire dal mese prossimo, i membri dell’NVIDIA Developer Program otterranno l’accesso gratuito a NIM per la ricerca e la sperimentazione.
