Amazon Web Services (AWS) e NVIDIA hanno annunciato l’arrivo su AWS della nuova piattaforma di GPU NVIDIA Blackwell, presentata da NVIDIA alla conferenza GTC 2024. AWS offrirà le GPU NVIDIA GB200 Grace Blackwell Superchip e B100 Tensor Core, estendendo la collaborazione strategica di lunga data tra le due aziende per offrire l’infrastruttura, il software e i servizi sicuri e avanzati per aiutare i clienti a sbloccare nuove capacità di intelligenza artificiale generativa (AI).
NVIDIA e AWS – sottolineano le due aziende hi-tech – continuano a unire il meglio delle loro tecnologie, fra cui i nuovi sistemi multi-nodo di NVIDIA con la piattaforma NVIDIA Blackwell e il software AI di nuova generazione, il sistema Nitro di AWS e la sicurezza avanzata di AWS Key Management Service (AWS KMS), il networking su scala petabit Elastic Fabric Adapter (EFA) e il clustering hyper-scale Amazon Elastic Compute Cloud (Amazon EC2) UltraCluster. Insieme, offrono l’infrastruttura e gli strumenti che consentono ai clienti di creare ed eseguire inferenze in tempo reale su modelli linguistici di grandi dimensioni (LLM) con miliardi di parametri in modo più rapido, su scala massiccia e a un costo inferiore rispetto alle GPU NVIDIA di precedente generazione su Amazon EC2.
“La profonda collaborazione tra le nostre due organizzazioni risale a più di 13 anni fa, quando insieme abbiamo lanciato la prima istanza cloud GPU al mondo su AWS, e oggi offriamo ai clienti la più ampia gamma di soluzioni GPU NVIDIA“, ha dichiarato Adam Selipsky, CEO di AWS. “Il processore di nuova generazione Grace Blackwell di NVIDIA segna un significativo passo avanti nell’AI generativa e nel GPU Computing. In combinazione con il potente Elastic Fabric Adapter Networking di AWS, il clustering iper-scala di Amazon EC2 UltraClusters e le capacità avanzate di virtualizzazione e sicurezza del nostro esclusivo sistema Nitro, rendiamo possibile ai clienti la creazione e l’esecuzione di modelli linguistici di grandi dimensioni con più miliardi di parametri in modo più rapido, su scala massiccia e più sicuro che altrove. Insieme, continuiamo a innovare per rendere AWS il luogo migliore per l’esecuzione delle GPU NVIDIA nel cloud“.
“L’intelligenza artificiale sta portando avanti una serie di innovazioni a un ritmo senza precedenti, che si traducono in nuove applicazioni, modelli di business e innovazioni in tutti i settori“, ha dichiarato Jensen Huang, fondatore e CEO di NVIDIA. “La nostra collaborazione con AWS sta accelerando le nuove capacità di IA generativa e fornisce ai clienti una potenza di calcolo senza precedenti per superare i limiti del possibile“.
AWS offrirà la piattaforma NVIDIA Blackwell, caratterizzata da GB200 NVL72, con 72 GPU Blackwell e 36 CPU Grace interconnesse da NVIDIA NVLink di quinta generazione. Se collegata al potente networking di Amazon (EFA) e supportata da virtualizzazione avanzata (AWS Nitro System) e clustering hyper-scale (Amazon EC2 UltraClusters), i clienti possono scalare fino a migliaia di GB200 Superchip. NVIDIA Blackwell su AWS offre un enorme balzo in avanti nella velocizzazione dei carichi di lavoro di inferenza per modelli linguistici ad alta intensità di risorse e con miliardi di parametri.
Sulla base del successo delle istanze EC2 P5 alimentate da NVIDIA H100, disponibili per i clienti per brevi periodi attraverso Amazon EC2 Capacity Blocks for ML, AWS prevede di offrire istanze EC2 con le nuove GPU B100 distribuite negli UltraCluster EC2 per accelerare il training e l’inferenza dell’intelligenza artificiale generativa su scala massiva. Le GB200 saranno disponibili anche su NVIDIA DGX Cloud, una piattaforma AI co-ingegnerizzata su AWS, che offre agli sviluppatori aziendali un accesso dedicato all’infrastruttura e al software necessari per costruire e distribuire modelli avanzati di AI generativa. Le istanze DGX Cloud su AWS, alimentate da Blackwell, accelereranno lo sviluppo di IA generativa all’avanguardia e di LLM che possono superare i 1.000 miliardi di parametri.
Elevare la sicurezza dell’IA con AWS Nitro System, AWS KMS, EFA crittografato e crittografia Blackwell
Quando i clienti si muovono rapidamente per implementare l’IA nelle loro organizzazioni, hanno bisogno di sapere che i loro dati sono gestiti in modo sicuro durante il flusso di lavoro di addestramento. La sicurezza dei pesi del modello – i parametri che un modello apprende durante l’addestramento e che sono fondamentali per la sua capacità di fare previsioni – è fondamentale per proteggere la proprietà intellettuale dei clienti, impedire la manomissione dei modelli e mantenere l’integrità del modello.
L’infrastruttura e i servizi AWS AI dispongono già di funzioni di sicurezza che consentono ai clienti di controllare i propri dati e di garantire che non vengano condivisi con fornitori terzi. La combinazione del sistema AWS Nitro e di NVIDIA GB200 porta la sicurezza dell’intelligenza artificiale ancora più in là, impedendo a persone non autorizzate di accedere ai pesi dei modelli. GB200 consente la crittografia fisica delle connessioni NVLink tra le GPU e cripta il trasferimento dei dati dalla CPU Grace alla GPU Blackwell, mentre EFA cripta i dati tra i server per il training e l’inferenza distribuite. Il GB200 beneficerà anche di AWS Nitro System, che scarica le funzioni di I/O dalla CPU/GPU host all’hardware specializzato di AWS per offrire prestazioni più costanti, mentre la sua maggiore sicurezza protegge il codice e i dati del cliente durante l’elaborazione, sia dal lato del cliente che da quello di AWS. Questa funzionalità, disponibile solo su AWS, è stata verificata in modo indipendente da NCC Group, un’azienda leader nella sicurezza informatica.
Con GB200 su Amazon EC2, AWS consentirà ai clienti di creare un ambiente di esecuzione affidabile accanto alla loro istanza EC2, utilizzando AWS Nitro Enclaves e AWS KMS. Nitro Enclaves consente ai clienti di crittografare i dati di formazione e i pesi con KMS, utilizzando materiale chiave sotto il loro controllo. L’enclave può essere caricata dall’istanza GB200 e può comunicare direttamente con il Superchip GB200. Ciò consente a KMS di comunicare direttamente con l’enclave e di passargli il materiale chiave in modo crittograficamente sicuro. L’enclave può quindi passare tale materiale al GB200, protetto dall’istanza del cliente e impedendo agli operatori AWS di accedere alla chiave o di decifrare i dati di addestramento o i pesi del modello, offrendo ai clienti un controllo senza precedenti sui loro dati.
Project Ceiba si avvale di Blackwell per promuovere la futura innovazione dell’IA generativa di NVIDIA su AWS
Annunciato in occasione di AWS re:Invent 2023, Project Ceiba è una collaborazione tra NVIDIA e AWS per la realizzazione di uno dei supercomputer AI più veloci al mondo. Ospitato esclusivamente su AWS, il supercomputer è disponibile per la ricerca e lo sviluppo di NVIDIA.
Questo supercomputer, primo nel suo genere, con 20.736 GPU B200, è stato costruito utilizzando il nuovo NVIDIA GB200 NVL72, un sistema dotato di NVLink di quinta generazione, che scala a 20.736 GPU B200 collegate a 10.368 CPU NVIDIA Grace. Il sistema è scalabile grazie all’uso del networking EFA di quarta generazione, che offre fino a 800 Gbps per Superchip di throughput di networking a bassa latenza ed elevata banda passante – in grado di elaborare ben 414 exaflop di IA – un aumento delle prestazioni di 6 volte rispetto ai piani precedenti di costruire Ceiba sull’architettura Hopper.
I team di ricerca e sviluppo di NVIDIA utilizzeranno Ceiba per far progredire l’IA per gli LLM, la grafica (generazione di immagini/video/3D) e la simulazione, la biologia digitale, la robotica, le auto a guida autonoma, la previsione del clima di NVIDIA Earth-2 e molto altro ancora, per aiutare NVIDIA a promuovere l’innovazione futura dell’IA generativa.
La collaborazione tra AWS e NVIDIA accelera lo sviluppo di applicazioni di IA generativa e fa avanzare i casi d’uso nel settore sanitario e delle scienze della vita
AWS e NVIDIA hanno unito le forze per offrire inferenza ad alte prestazioni e a basso costo per l’IA generativa grazie all’integrazione di Amazon SageMaker con i microservizi di inferenza NVIDIA NIM, disponibili con NVIDIA AI Enterprise. I clienti possono utilizzare questa combinazione per distribuire rapidamente FM precompilati e ottimizzati per l’esecuzione su GPU NVIDIA in SageMaker, riducendo il time-to-market delle applicazioni di IA generativa.
AWS e NVIDIA hanno collaborato per espandere la scoperta di farmaci assistita da computer con i nuovi FM NVIDIA BioNeMo per la chimica generativa, la previsione della struttura proteica e la comprensione dell’interazione tra molecole di farmaci e bersagli. Questi nuovi modelli saranno presto disponibili su AWS HealthOmics, un servizio appositamente creato per aiutare le organizzazioni del settore sanitario e delle scienze della vita ad archiviare, interrogare e analizzare dati genomici, trascrittomici e altri dati omici.
I team di AWS HealthOmics e NVIDIA Healthcare stanno inoltre collaborando al lancio di microservizi di IA generativa per promuovere la scoperta di farmaci, le tecnologie mediche e la salute digitale, offrendo un nuovo catalogo di endpoint cloud accelerati dalle GPU per la biologia, la chimica, l’imaging e i dati sanitari, in modo che le aziende del settore sanitario possano trarre vantaggio dai più recenti progressi dell’IA generativa su AWS.
