In occasione del SIGGRAPH, NVIDIA ha annunciato la piattaforma NVIDIA GH200 Grace Hopper di nuova generazione, basata su un nuovo Grace Hopper Superchip con il primo processore HBM3e al mondo e realizzata per l’era dell’accelerated computing e dell’AI generativa.
Creata per gestire i carichi di lavoro di AI generativa più complessi al mondo, che comprendono modelli linguistici di grandi dimensioni, sistemi di raccomandazione e database vettoriali, la nuova piattaforma sarà disponibile in un’ampia gamma di configurazioni, ha annunciato l’azienda.
La configurazione dual – che offre fino a 3,5 volte più capacità di memoria e 3 volte più larghezza di banda rispetto all’offerta della generazione attuale – comprende un singolo server con 144 core Arm Neoverse, otto petaflop di performance AI e 282 GB della più recente tecnologia di memoria HBM3e.
“Per soddisfare l’impennata della domanda di AI generativa, i data center necessitano di piattaforme di computing accelerato con esigenze specializzate“, ha dichiarato Jensen Huang, fondatore e CEO di NVIDIA. “La nuova GH200 Grace Hopper Superchip platform offre tutto questo grazie a una tecnologia di memoria e a una larghezza di banda eccezionali che migliorano il throughput, alla possibilità di collegare le GPU per aggregare le prestazioni senza compromessi e a un design server che può essere facilmente distribuito nell’intero data center“.
La nuova piattaforma utilizza Grace Hopper Superchip, che può essere collegato ad altri Superchip tramite NVIDIA NVLink, consentendo loro di lavorare insieme per distribuire i giganteschi modelli utilizzati per l’AI generativa. Questa tecnologia coerente e ad alta velocità consente alla GPU di accedere pienamente alla memoria della CPU, fornendo un totale di 1,2 TB di memoria veloce in configurazione dual.
La memoria HBM3e, più veloce del 50% rispetto all’attuale HBM3, offre un totale di 10TB/sec di larghezza di banda combinata, consentendo alla nuova piattaforma di eseguire modelli 3,5 volte più grandi rispetto alla versione precedente, migliorando al contempo le prestazioni grazie a una larghezza di banda di memoria 3 volte superiore.
I principali produttori – sottolinea NVIDIA – stanno già offrendo sistemi basati sul Grace Hopper Superchip annunciato precedentemente. Per promuovere un’ampia adozione della tecnologia, la Grace Hopper Superchip platform di nuova generazione con HBM3e è pienamente compatibile con le specifiche per server NVIDIA MGX presentate al COMPUTEX all’inizio di quest’anno. Con MGX, spiega NVIDIA, qualsiasi produttore di sistemi può aggiungere Grace Hopper in modo rapido e conveniente a oltre 100 varianti di server.
I principali produttori di sistemi dovrebbero essere in grado di consegnare i sistemi basati sulla piattaforma nel secondo trimestre dell’anno solare 2024.
