Red Hat ha annunciato di aver firmato un accordo definitivo per l’acquisizione di Neural Magic, azienda all’avanguardia nel software e negli algoritmi che accelerano i carichi di lavoro di inferenza dell’AI generativa (gen AI).
L’esperienza di Neural Magic nell’ingegneria delle prestazioni di inferenza e il suo impegno nell’open source si allineano perfettamente alla visione di Red Hat di carichi di lavoro AI ad alte prestazioni che rispondono direttamente ai casi d’uso e ai dati specifici dei clienti, ovunque e nel cloud ibrido.
Con le prospettive offerte della gen AI che dominano gran parte del panorama tecnologico odierno, i modelli linguistici di grandi dimensioni (LLM) alla base di questi sistemi continuano ad accrescere le proprie dimensioni. Di conseguenza, la creazione di servizi LLM affidabili ed efficienti dal punto di vista dei costi richiede una notevole potenza di calcolo, oltre a risorse energetiche e competenze operative specializzate. Queste sfide rendono i vantaggi di un’intelligenza artificiale personalizzata, pronta per l’implementazione e più attenta alla sicurezza, fuori dalla portata della maggior parte delle organizzazioni.
Red Hat intende affrontare queste sfide rendendo la gen AI accessibile a un maggior numero di organizzazioni attraverso l’innovazione aperta di vLLM. Sviluppato da UC Berkeley, vLLM è un progetto open source guidato dalla comunità per l’open model serving (il modo in cui i modelli di gen AI inferiscono e risolvono i problemi) che supporta tutte le principali famiglie di modelli, la ricerca avanzata sull’accelerazione dell’inferenza e diversi backend hardware tra cui GPU AMD, AWS Neuron, Google TPUs, Intel Gaudi, GPU NVIDIA e CPU x86. La leadership di Neural Magic nel progetto vLLM, combinata con il solido portfolio di tecnologie AI per il cloud ibrido di Red Hat, offrirà alle aziende un percorso aperto per la creazione di strategie AI in grado di soddisfare le loro esigenze specifiche, ovunque si trovino i dati.
“I carichi di lavoro AI devono poter essere eseguiti ovunque si trovino i dati dei clienti nel cloud ibrido, cosa che rende necessarie piattaforme e strumenti flessibili, standardizzati e aperti, che consentano alle organizzazioni di scegliere gli ambienti, le risorse e le architetture in linea con le loro esigenze operative e di dati”, spiega Matt Hicks, president e CEO di Red Hat. “Siamo entusiasti di integrare il nostro portafoglio AI basato sul cloud ibrido con l’innovazione rivoluzionaria di Neural Magic, con l’obiettivo di confermare il ruolo di Red Hat come innovatore e leader non più solo nell’open source ma anche nell’AI.”
“L’open source ha mostrato più volte di poter promuovere l’innovazione grazie al potere della collaborazione”, aggiunge Brian Stevens, CEO di Neural Magic. “In Neural Magic abbiamo riunito alcuni dei migliori talenti del settore dell’ingegneria delle prestazioni dell’AI con l’unica missione di creare funzionalità di servizio LLM aperte, multipiattaforma e ultra-efficienti. L’unione con Red Hat non è solo un abbinamento culturale, ma porterà vantaggi significativi alle aziende grandi e piccole nel loro percorso di trasformazione dell’AI”.
“Mentre i nostri clienti cercano di scalare l’AI nei loro ambienti ibridi, gli LLM virtualizzati e cloud-nativi costruiti su basi aperte diventeranno lo standard del settore”, aggiunge Dario Gil, senior vice president and director of Research di IBM. “La leadership di Red Hat nell’open source, combinata con la scelta di modelli open source efficienti come IBM Granite e le offerte di Neural Magic per la scalabilità dell’AI tra le diverse piattaforme, consente alle aziende di avere il controllo e la flessibilità di cui hanno bisogno per distribuire l’AI in tutta l’organizzazione.”
Red Hat e Neural Magic: abilitare un futuro di gen AI pronta per l’hybrid cloud
Neural Magic è nata nell’ambito del MIT nel 2018 con l’obiettivo di creare un software di inferenza performante pensato per il deep learning. Con la tecnologia e l’esperienza di Neural Magic nell’ingegneria delle prestazioni, Red Hat mira ad accelerare la sua visione del futuro dell’AI, grazie al suo portfolio tecnologico Red Hat AI. Con l’obiettivo di superare le sfide dell’AI enterprise su larga scala, Red Hat utilizza l’innovazione open source per democratizzare ulteriormente l’accesso alla potenza trasformativa dell’AI attraverso:
- Modelli con licenza open source, da 1B a 405B, che possono essere eseguiti ovunque nel cloud ibrido, nei data center aziendali, su più cloud e sull’edge.
- Funzionalità di perfezionamento che consentono alle aziende di personalizzare più facilmente gli LLM in base ai loro dati privati e ai loro casi d’uso, con una più solida base di sicurezza;
- Esperienza di ingegneria delle prestazioni di inferenza, che si traduce in una maggiore efficienza operativa e infrastrutturale.
- Un ecosistema di partner e open source e strutture di supporto che garantiscano ai clienti una scelta più ampia, dagli LLM e gli strumenti all’hardware server certificato fino alle architetture chip sottostanti.
La leadership su vLLM per far progredire Red Hat AI
Neural Magic sfrutta la propria esperienza e conoscenza di vLLM per costruire uno stack di inferenza di livello enterprise che consente ai clienti di ottimizzare, distribuire e scalare i carichi di lavoro LLM in ambienti cloud ibridi con il pieno controllo sulla scelta dell’infrastruttura, sulle politiche di sicurezza e sul ciclo di vita dei modelli. Neural Magic sviluppa anche ricerche sull’ottimizzazione dei modelli, costruisce LLM Compressor (una libreria unificata per l’ottimizzazione di LLM con algoritmi di sparsity e quantizzazione all’avanguardia) e gestisce un repository di modelli pre-ottimizzati pronti per essere distribuiti con vLLM.
Red Hat AI mira ad aiutare i clienti a ridurre i costi e le barriere di competenza sull’AI con tecnologie potenti, tra cui:
- Red Hat Enterprise Linux AI (RHEL AI), una piattaforma di modelli di base per sviluppare, testare ed eseguire senza problemi la famiglia IBM Granite di LLM open source per applicazioni aziendali su implementazioni di server Linux;
- Red Hat OpenShift AI, una piattaforma AI che fornisce strumenti per sviluppare, addestrare, servire e monitorare rapidamente i modelli di apprendimento automatico in ambienti Kubernetes distribuiti on-premise, nel cloud pubblico o all’interno dell’infrastruttura.
- InstructLab, un progetto comunitario di AI open source creato da Red Hat e IBM che consente a chiunque di plasmare il futuro dell’intelligenza artificiale attraverso il miglioramento collaborativo di LLM Granite con licenza open source utilizzando la tecnologia di perfezionamento di InstructLab.
La leadership tecnologica di Neural Magic in vLLM rafforzerà la capacità di Red Hat AI di supportare implementazioni LLM ovunque e in tutto il cloud ibrido con uno stack di inferenza già pronto, altamente ottimizzato e aperto.
