In occasione dell’evento Microsoft Build, AMD ha presentato le più recenti capacità di calcolo e software end-to-end, mostrando come stiano aiutando l’azienda di Redmond a offrire una potente suite di strumenti per le implementazioni AI che abbracciano diversi mercati tra cui PC AI, HPC, gaming e ora anche l’AI compute.
Dall’intelligenza artificiale generativa al cloud computing, gli acceleratori AMD Instinct MI300X e lo stack di software open-source ROCm alimentano alcuni dei carichi di lavoro AI più impegnativi per clienti e sviluppatori Microsoft.
In particolare, AMD mette in evidenza i seguenti punti:
- Microsoft utilizza macchine virtuali basate su AMD Instinct MI300X e il software ROCm per ottenere il miglior rapporto prezzo/prestazioni per i carichi di lavoro GPT.
- AMD Instinct MI300X alimenta servizi OpenAI di Azure come i modelli Chat GPT-3.5 e GPT-4.
- Le nuove macchine virtuali Azure ND MI300X V5 sono ora disponibili, con Hugging Face come primo cliente.
- L’acceleratore multimediale AMD Alveo MA35D alimenta i carichi di lavoro video in live streaming di Microsoft, tra cui Microsoft Teams, i video di SharePoint e altro ancora.
“AMD Instinct MI300X e lo stack software ROCm sta alimentando i servizi Azure OpenAI Chat GPT 3.5 e 4, che rappresentano alcuni dei carichi di lavoro AI più impegnativi al mondo“, ha dichiarato Victor Peng, presidente di AMD. “Con la disponibilità generale delle nuove macchine virtuali di Azure, i clienti dell’AI hanno un accesso più ampio a MI300X per offrire soluzioni efficienti e ad alte prestazioni per le applicazioni AI“.
“Microsoft e AMD hanno una ricca storia di collaborazioni su più piattaforme di calcolo: prima il PC, poi il silicio personalizzato per Xbox, l’HPC e ora l’AI“, ha dichiarato Kevin Scott, Chief Technology Officer ed Executive Vice President of AI di Microsoft. “Nel passato più recente, abbiamo riconosciuto l’importanza di accoppiare un potente hardware di calcolo con l’ottimizzazione del sistema e del software necessaria a fornire prestazioni e valore sorprendenti per l’IA. Insieme ad AMD, lo abbiamo fatto utilizzando ROCm e MI300X, consentendo ai clienti e agli sviluppatori di Microsoft AI di ottenere risultati eccellenti in termini di prezzo-prestazioni per i modelli di frontiera più avanzati e ad alta intensità di calcolo. Siamo impegnati nella nostra collaborazione con AMD per continuare a far progredire l’IA“.
Annunciata in anteprima nel novembre 2023, sottolinea AMD, la serie di macchine virtuali Azure ND MI300x v5 è ora disponibile nella regione Canada Central per l’esecuzione dei carichi di lavoro AI da parte dei clienti. Con prestazioni all’avanguardia, queste macchine virtuali offrono una capacità HBM e una larghezza di banda di memoria sorprendenti, consentendo ai clienti di inserire modelli più grandi nella memoria della GPU e/o di utilizzare meno GPU, contribuendo in ultima analisi a risparmiare energia, costi e tempi di soluzione.
Queste macchine virtuali e il software ROCm che le alimenta vengono utilizzate anche per i carichi di lavoro di Azure AI Production, compreso Azure OpenAI Service, fornendo ai clienti l’accesso ai modelli GPT-3,5 e GPT-4. Con AMD Instinct MI300X e lo stack software aperto ROCm, collaudato e pronto, Microsoft è in grado di ottenere un rapporto prezzo/prestazioni allo stato dell’arte sui carichi di lavoro di inferenza GPT, mette in evidenza AMD.
Oltre ai carichi di lavoro di produzione di Azure AI, uno dei primi clienti a utilizzare queste macchine virtuali è Hugging Face. Con il porting dei propri modelli sulle VM ND MI300X in un solo mese, Hugging Face è riuscita a ottenere prestazioni e prezzo/prestazioni impressionanti per i propri modelli. I clienti delle VM ND MI300X possono portare i modelli di Hugging Face sulle macchine virtuali per creare e distribuire applicazioni NLP con facilità ed efficienza.
“La profonda collaborazione tra Microsoft, AMD e Hugging Face sull’ecosistema di software aperto ROCm consentirà agli utenti di Hugging Face di eseguire centinaia di migliaia di modelli di IA disponibili su Hugging Face Hub su Azure con le GPU AMD Instinct senza modifiche al codice, rendendo più semplice per i clienti di Azure la creazione di IA con modelli aperti e open source“, ha dichiarato Julien Simon, chief evangelist officer di Hugging Face.
Inoltre, gli sviluppatori possono utilizzare il software AMD Ryzen AI per ottimizzare e distribuire l’inferenza AI sui PC AMD Ryzen AI. Il software Ryzen AI consente alle applicazioni di essere eseguite sull’unità di elaborazione neurale (NPU) costruita sull’architettura AMD XDNA, che AMD descrive come il primo silicio dedicato all’elaborazione dell’intelligenza artificiale su un processore Windows x86. Mentre l’esecuzione di modelli di intelligenza artificiale sulla sola CPU o GPU può scaricare rapidamente la batteria, con un laptop Ryzen AI powered, i modelli di intelligenza artificiale funzionano sulla NPU integrata, liberando le risorse della CPU e della GPU per altre attività di calcolo. Ciò contribuisce ad aumentare significativamente la durata della batteria e consente agli sviluppatori di eseguire carichi di lavoro LLM AI sul dispositivo e applicazioni concorrenti in modo efficiente e locale.
Microsoft – sottolinea ancora AMD – ha inoltre scelto l’acceleratore multimediale AMD Alveo MA35D per alimentare i suoi vasti carichi di lavoro di streaming video in diretta, tra cui Microsoft Teams, SharePoint video e altri. Costruito per alimentare i servizi di live streaming interattivo su scala, Alveo MA35D aiuterà Microsoft a garantire un’esperienza video di alta qualità ottimizzando i carichi di lavoro di elaborazione video, tra cui la transcodifica, la decodifica, la codifica e lo streaming con bitrate adattivo (ABR). Utilizzando l’acceleratore Alveo MA35D nei server dotati di processori AMD EPYC di quarta generazione, Microsoft ottiene:
- Capacità di consolidare i server e l’infrastruttura cloud – sfruttando l’alta densità di canali, l’efficienza energetica e le capacità di elaborazione video a bassissima latenza di Alveo MA35D, Microsoft può ridurre significativamente il numero di server necessari per supportare le sue applicazioni di live streaming interattivo ad alto volume.
- Prestazioni sorprendenti – Alveo MA35D è dotato di unità di elaborazione video basate su ASIC che supportano lo standard di compressione AV1 e ottimizzazioni della qualità video abilitate dall’intelligenza artificiale che contribuiscono a garantire esperienze video fluide e senza interruzioni.
- Tecnologia AV1 pronta per il futuro – con un percorso di aggiornamento per il supporto di standard emergenti come AV1, Alveo MA35D offre a Microsoft una soluzione in grado di adattarsi all’evoluzione dei requisiti di elaborazione video.
I processori EPYC di quarta generazione, afferma AMD, alimentano oggi numerose macchine virtuali di calcolo generiche, ad alta intensità di memoria, ottimizzate per il calcolo e accelerate su Azure. Queste VM dimostrano la crescita e la domanda di processori AMD EPYC nel cloud e sono in grado di fornire prestazioni fino al 20% superiori per le macchine virtuali generiche e ad uso intensivo di memoria con un miglior rapporto prezzo/prestazioni, e prestazioni della CPU fino a due volte superiori per le macchine virtuali ottimizzate per il calcolo rispetto alla precedente generazione di VM alimentate da processori AMD EPYC su Azure. Ora in preview, le serie di VM Dalsv6, Dasv6, Easv6, Falsv6 e Famsv6 saranno generalmente disponibili nei prossimi mesi.
