Red Hat ha annunciato la più recente versione di Red Hat Enterprise Linux AI (RHEL AI), la sua piattaforma di modelli di base per lo sviluppo, il test e l’esecuzione di modelli di intelligenza artificiale generativa (Gen AI) in ambito aziendale. RHEL AI 1.3 supporta le ultime evoluzioni nella famiglia di modelli linguistici di grandi dimensioni (LLM) Granite e integra miglioramenti open source per la preparazione dei dati, mantenendo al contempo un’ampia scelta per le implementazioni hybrid cloud, inclusa l’architettura di elaborazione accelerata sottostante.
Secondo il report IDC “Market Analysis Perspective: Open GenAI, LLMs, and the Evolving Open Source Ecosystem”, il 61% degli intervistati prevede di utilizzare modelli di base open source per i casi d’uso dell’AI generativa, mentre oltre il 56% dei modelli di base implementati è già open source
Si tratta di una tendenza che conferma la visione di Red Hat sull’AI generativa in ambito enterprise, che richiede:
- Modelli più piccoli, con licenza open source, che possono essere eseguiti nell’hybrid cloud ovunque sia necessario.
- Funzionalità di fine-tuning che consentono alle organizzazioni di personalizzare più facilmente gli LLM per dati privati e casi d’uso specifici.
- Modelli AI ottimizzati e più efficienti, guidati da competenze nell’ingegneria delle prestazioni di inferenza.
- Supporto di un solido ecosistema di partner e della community open source per offrire ai clienti ampia libertà di scelta.
RHEL AI costituisce un pilastro fondamentale della visione di Red Hat sull’AI e unisce la famiglia di modelli open source Granite con gli strumenti di allineamento dei modelli InstructLab, basati su metodologia LAB (Large-scale Alignment) per i chatBot. Questi componenti sono offerti come un’immagine Red Hat Enterprise Linux ottimizzata e avviabile per implementazioni su singoli server in qualsiasi punto dell’hybrid cloud.
Joe Fernandes, vice president e general manager, Artificial Intelligence Business Unit di Red Hat, ha dichiarato: “Riteniamo che i modelli più piccoli e ottimizzati siano una necessità per poter sfruttare il potere trasformativo dell’AI generativa, e che questi modelli debbano essere implementati ovunque nell’hybrid cloud. I miglioramenti apportati a RHEL AI si basano su questa convinzione, semplificando la preparazione dei dati aziendali per l’addestramento di modelli privati con Docling e incorporando gli ultimi progressi nella famiglia Granite di LLM open source.”
RHEL AI, supporto per gli LLM Granite 3.0
RHEL AI 1.3 estende l’impegno di Red Hat verso gli LLM Granite con il supporto per Granite 3.0 8b per i casi d’uso in lingua inglese. Granite 3.0 8b è un modello convergente, che supporta la generazione di codice e la chiamata di funzioni sia in inglese che in numerose altre lingue. I casi d’uso in lingue diverse dall’inglese, così come il codice e le funzioni, sono disponibili come anteprima per gli sviluppatori all’interno di RHEL AI 1.3, con l’obiettivo di supportare queste funzionalità anche in altre lingue nelle future versioni di RHEL AI.
Preparazione semplificata dei dati con Docling
Recentemente reso open source da IBM Research, Docling è un progetto upstream che aiuta ad analizzare i formati di documenti comuni e a convertirli in formati come Markdown e JSON, preparando questi contenuti per le applicazioni e l’addestramento dell’AI generativa. RHEL AI 1.3 ora integra questa innovazione come funzionalità supportata, consentendo agli utenti di convertire i PDF in Markdown per una più semplice ingestione dei dati per la regolazione del modello con InstructLab.
Grazie a Docling, RHEL AI 1.3 ora include anche un chunking context-aware, che tiene conto della struttura e degli elementi semantici dei documenti utilizzati per l’addestramento dell’AI generativa. Ciò aiuta rendere le applicazioni di AI generativa più coerenti e a sviluppare risposte più appropriate per il contesto e le attività, senza necessità di ulteriori aggiustamenti.
Le future versioni di RHEL AI continueranno a supportare e perfezionare i componenti di Docling, inclusi altri formati di documenti e l’integrazione per le pipeline RAG (Retrieval-Augmented Generation), allineandoli alle conoscenze di InstructLab.
Ampliamento dell’ecosistema dell’AI generativa
La libertà di scelta è una componente fondamentale dell’hybrid cloud e deve essere offerta per le applicazioni di AI generativa a partire dalle architetture di chip sottostanti, proprio per assicurare che la Gen AI possa mantenere la sua peculiarità di carico di lavoro distintivo per gli ambienti ibridi. RHEL AI supporta già i principali acceleratori di NVIDIA e AMD e la versione 1.3 ora include Intel Gaudi 3 come anteprima tecnologica.
Oltre all’architettura dei chip, RHEL AI è supportato dai principali cloud provider, tra cui AWS, Google Cloud e Microsoft Azure come offerta “bring your own subscription” (BYOS). La piattaforma sarà presto disponibile anche come soluzione ottimizzata e convalidata su Azure Marketplace e AWS Marketplace.
RHEL AI è disponibile come piattaforma di modelli di base preferita sulle offerte hardware accelerate dei partner Red Hat, inclusi i server Dell PowerEdge R760xa e i server Lenovo ThinkSystem SR675 V3.
Miglioramenti al model serving con Red Hat OpenShift AI
Per rispondere all’esigenza di scalabilità dei servizi degli LLM, Red Hat OpenShift AI ora supporta il servizio parallelizzato su più nodi con runtime vLLM, fornendo la capacità di gestire più richieste in tempo reale. Red Hat OpenShift AI consente inoltre agli utenti di modificare dinamicamente i parametri di un LLM durante il servizio, come lo sharding del modello su più GPU o la quantizzazione del modello a un footprint più piccolo. Questi miglioramenti mirano ad accelerare i tempi di risposta per gli utenti, aumentando la soddisfazione dei clienti e riducendo il churn.
Supporto per Red Hat AI
Insieme a Red Hat OpenShift AI, RHEL AI è alla base di Red Hat AI, il portfolio di soluzioni di Red Hat che accelera il time to market e riduce i costi operativi per la fornitura di soluzioni di AI nel cloud ibrido. RHEL AI supporta i singoli ambienti server Linux, mentre Red Hat OpenShift AI alimenta gli ambienti di piattaforma Kubernetes distribuiti e fornisce funzionalità integrate di MLOps (Machine Learning Operations). Entrambe le soluzioni sono compatibili tra loro, con Red Hat OpenShift AI che incorporerà tutte le funzionalità di RHEL AI per un’erogazione su larga scala.
Disponibilità
RHEL AI 1.3 è già in disponibilità generale. Ulteriori informazioni sulle funzionalità aggiuntive, i miglioramenti, le correzioni di bug e su come eseguire l’aggiornamento all’ultima versione sono disponibili qui.
