Parliamo di intelligenza artificiale con Jean-Charles Vasnier, Director, Solutions Architecture, EMEA di NVIDIA: il futuro, le sfide, le best practice, il consumo di energia e altro ancora.
Come si sta evolvendo l’approccio di NVIDIA all’elaborazione in parallelo delle GPU per soddisfare la crescente domanda di applicazioni di intelligenza artificiale?
Per soddisfare la crescente domanda di applicazioni di intelligenza artificiale, abbiamo annunciato l’arrivo della piattaforma NVIDIA Blackwell, che consente alle organizzazioni di tutto il mondo di creare ed eseguire AI generativa in tempo reale su modelli linguistici di grandi dimensioni da un trilione di parametri a costi e consumi fino a 25 volte inferiori rispetto al suo predecessore.
L’architettura delle GPU Blackwell è dotata di sei tecnologie trasformative per l’accelerated computing, che contribuiranno a sbloccare le innovazioni nell’elaborazione dei dati, nella simulazione ingegneristica, nell’automazione della progettazione elettronica, nella progettazione di farmaci assistita da computer, nell’informatica quantistica e nell’AI generativa.
Le sei tecnologie rivoluzionarie di Blackwell, che insieme consentono l’addestramento dell’AI e l’inferenza LLM in tempo reale per modelli che arrivano a 10 trilioni di parametri, comprendono:
- Il chip più potente del mondo – Dotate di 208 miliardi di transistor, le GPU con architettura Blackwell sono prodotte con un processo TSMC 4NP costruito su misura, con due die GPU al limite del reticolo connessi da un collegamento chip-to-chip di 10 TB/secondo in un’unica GPU unificata.
- Transformer Engine di seconda generazione – Grazie al nuovo supporto per micro-tensor scaling e agli algoritmi avanzati di gestione della gamma dinamica di NVIDIA integrati nei framework NVIDIA TensorRT-LLM e NeMo Megatron, Blackwell supporterà dimensioni di calcolo e modelli doppie con nuove capacità di inferenza AI in virgola mobile a 4 bit.
- NVLink di quinta generazione – Per accelerare le prestazioni dei modelli di intelligenza artificiale multitrillion-parameter e mixture-of-experts, l’ultima iterazione di NVIDIA NVLink offre uno straordinario throughput bidirezionale di 1,8 TB/s per GPU, garantendo una comunicazione ad alta velocità senza soluzione di continuità fra un massimo di 576 GPU per gli LLM più complessi.
- RAS Engine – Le GPU Blackwell includono un motore dedicato per la reliability, availability and serviceability. Inoltre, l’architettura Blackwell aggiunge capacità a livello di chip per utilizzare la manutenzione preventiva basata sull’intelligenza artificiale per eseguire la diagnostica e prevedere i problemi di affidabilità. In questo modo si massimizza il tempo di attività del sistema e si migliora la resilienza per le implementazioni di AI su larga scala, che possono funzionare ininterrottamente per settimane o addirittura mesi e ridurre i costi operativi.
- AI sicura – Le funzionalità avanzate di confidential computing proteggono i modelli di AI e i dati dei clienti senza compromettere le prestazioni, grazie al supporto dei nuovi protocolli di crittografia dell’interfaccia nativa, fondamentali per i settori sensibili alla privacy come la sanità e i servizi finanziari.
- Motore di decompressione – Un motore di decompressione dedicato supporta i formati più recenti, accelerando le query di database per offrire le massime prestazioni nei data analytics e nella scienza dei dati. Nei prossimi anni il data processing, per il quale le aziende spendono decine di miliardi di dollari all’anno, sarà sempre più accelerato dalle GPU.
Quale ruolo prevede NVIDIA per le GPGPU nel futuro del computing, in particolare nelle discipline non ad alta intensità di grafica?
Nel prossimo futuro, ogni applicazione aziendale sarà accelerata. Di recente abbiamo lanciato decine di microservizi di AI generativa di livello enterprise che le aziende possono utilizzare per creare e distribuire applicazioni personalizzate sulle proprie piattaforme, mantenendo la piena proprietà e il controllo della propria proprietà intellettuale.
Costruito sulla base della piattaforma NVIDIA CUDA, il catalogo di microservizi cloud-nativi include microservizi NVIDIA NIM per l’inferenza ottimizzata su oltre due dozzine di modelli AI popolari di NVIDIA e del suo ecosistema di partner. Inoltre, i kit di sviluppo software accelerati, le librerie e gli strumenti di NVIDIA sono ora accessibili come microservizi NVIDIA CUDA-X per la retrieval-augmented generation (RAG), i guardrail, l’elaborazione dei dati, l’HPC e altro ancora. NVIDIA ha anche annunciato separatamente oltre due dozzine di microservizi NIM e CUDA-X per il settore sanitario.
La selezione curata di microservizi aggiunge un nuovo livello alla piattaforma di computing full-stack di NVIDIA. Questo livello collega l’ecosistema AI di sviluppatori di modelli, fornitori di piattaforme e aziende con un percorso standardizzato per l’esecuzione di modelli AI personalizzati ottimizzati per la base installata di centinaia di milioni di GPU NVIDIA CUDA su cloud, data center, workstation e pc.
Fra i primi ad accedere ai nuovi microservizi di AI generativa di NVIDIA disponibili in NVIDIA AI Enterprise 5.0 vi sono i principali fornitori di applicazioni, dati e piattaforme di cybersecurity, fra cui Adobe, Cadence, CrowdStrike, Getty Images, SAP, ServiceNow e Shutterstock.
Puoi illustrare le sfide e le scoperte che NVIDIA ha incontrato nell’implementazione dell’intelligenza artificiale in diversi settori, come quello automobilistico o sanitario?
L’assistenza sanitaria richiede nuovi paradigmi di computing per soddisfare l’esigenza di una medicina personalizzata, di cliniche di nuova generazione, di una migliore qualità delle cure e di progressi nella ricerca biomedica per il trattamento delle malattie. Le tecnologie AI stanno rivoluzionando il modo in cui i professionisti del settore medico lavorano, consentendo diagnosi più accurate e migliorando l’assistenza ai pazienti. Il documento sottolinea il ruolo del deep learning nel migliorare l’assistenza sanitaria in ogni fase, dai servizi di emergenza ai controlli di routine, e il modo in cui può aumentare lo standard di cura e la qualità della vita dei pazienti.
L’uso dell’AI può risolvere la carenza di medici in molte parti del mondo. Ad esempio, LexiconAI, che fa parte del programma NVIDIA Inception, ha sviluppato un’app mobile che utilizza il riconoscimento vocale per catturare informazioni mediche durante le conversazioni medico-paziente, che possono poi essere utilizzate per popolare automaticamente le cartelle cliniche elettroniche. Questa innovazione consente ai medici di dedicare più tempo ai loro pazienti.
L’AI ha anche un ruolo trasformativo nella patologia, dove aiuta a tracciare nuove connessioni tra le misurazioni sanitarie per prevedere malattie come il diabete. Inoltre, lo sviluppo di app per l’healthcare sfrutta gli indossabili, gli smartphone e i dispositivi IoT per monitorare la salute al di fuori degli ambienti medici tradizionali. Ad esempio, la startup canadese Aifred Health utilizza il deep learning accelerato dalle GPU per personalizzare i trattamenti contro la depressione in base ai dati dei pazienti.
L’intelligenza artificiale sta apportando profondi cambiamenti all’healthcare, dall’assistenza ai pazienti e la patologia alle app sanitarie, rendendo l’assistenza sanitaria più efficiente ed efficace.
Con i rapidi progressi dell’AI, come fa NVIDIA a rimanere all’avanguardia nell’innovazione delle GPU per supportare questi sviluppi? In che modo l’integrazione della tecnologia AI di NVIDIA nei data center trasforma l’infrastruttura di computing tradizionale?
Prima di tutto, vorrei chiarire che NVIDIA non costruisce chip ma li progetta. NVIDIA costruisce i data center, compreso tutto il software, li mette in funzione e li fa funzionare. Noi definiamo gli elementi costitutivi e lasciamo che sia il cliente a decidere di cosa ha esattamente bisogno e come vuole implementarlo. Il motivo è che forse il loro networking, lo storage o il control plane sono diversi. Si tratta di progettare data center più efficienti e performanti per le applicazioni aziendali. Ci stiamo quindi concentrando sulla fornitura delle nostre competenze in materia di data center ai data center di altre persone.
Il nostro CEO Jensen Huang spiega che l’accelerated computing ha raggiunto il punto di svolta, poiché il general purpose computing ha esaurito la sua forza. Abbiamo bisogno di un altro modo di fare informatica, in modo da poter continuare a scalare, ridurre il costo del computing e consumare sempre più computing in modo sostenibile. L’accelerated computing rappresenta un’enorme accelerazione rispetto al computing generico, in ogni singolo settore.
L’intelligenza artificiale generativa cambia anche il modo di scrivere le applicazioni. Invece di scrivere software, le aziende assembleranno modelli di AI, assegneranno loro missioni, forniranno esempi di prodotti di lavoro, esamineranno piani e risultati intermedi. Questi pacchetti – gli NVIDIA NIM – sono costruiti a partire dalle librerie di accelerated computing e dai modelli di AI generativa di NVIDIA. I microservizi supportano API standard del settore in modo da essere facilmente collegabili, funzionano su tutta la vasta base installata di CUDA di NVIDIA, sono ri-ottimizzati per le nuove GPU e vengono costantemente scansionati per verificare la presenza di vulnerabilità ed esposizioni di sicurezza.
Noi ci focalizziamo anche sull’efficienza energetica. Per quasi quarant’anni, la legge di Moore è stata la dinamica che ha governato l’industria dei computer, prevedendo come un orologio la crescita esponenziale delle prestazioni di elaborazione in tandem con aumenti moderati di energia e di costo per decenni. Ma poiché la legge di Moore ha raggiunto i limiti della scienza, i requisiti energetici stanno aumentando. I data center consumano già circa l’1-2% dell’elettricità globale e si prevede che il consumo continui a crescere. Questa crescita continua non è sostenibile, né per i bilanci operativi né per il nostro pianeta. L’accelerated computing è ora il modo più sostenibile per far progredire il computing.
NVIDIA ha inventato l’accelerated computing due decenni fa per risolvere problemi che i normali computer non possono risolvere. Grazie a un’invenzione full-stack di chip, sistemi, reti, librerie di accelerazione e refactoring delle applicazioni, siamo in grado di potenziarli con un’efficienza energetica di gran lunga superiore a quella delle CPU tradizionali. L’accelerazione è il modo migliore per recuperare energia e raggiungere la sostenibilità e il net zero.
