Al COMPUTEX, NVIDIA ha annunciato la nuova tecnologia NVIDIA RTX per alimentare gli assistenti AI e gli umani digitali in esecuzione sui nuovi laptop GeForce RTX AI.
NVIDIA ha presentato Project G-Assist, una demo della tecnologia di assistente AI alimentata da RTX che fornisce assistenza contestuale a giochi e applicazioni per PC. La demo di Project G-Assist ha debuttato con ARK: Survival Ascended di Studio Wildcard. NVIDIA ha anche presentato i primi microservizi di inferenza NVIDIA NIM basati su PC per la piattaforma digital human NVIDIA ACE.
Queste tecnologie – sottolinea l’azienda – sono abilitate da NVIDIA RTX AI Toolkit, una nuova suite di strumenti e kit di sviluppo software che aiutano gli sviluppatori a ottimizzare e distribuire modelli di AI generativa di grandi dimensioni su PC Windows. Si aggiungono alle innovazioni RTX AI full-stack di NVIDIA che accelerano oltre 500 applicazioni e giochi per PC e 200 progetti di laptop dei produttori.
Inoltre, i nuovi laptop RTX AI annunciati da ASUS e MSI sono dotati di GPU GeForce RTX 4070 e di system-on-a-chip ad alta efficienza energetica con funzionalità Windows 11 AI PC. Questi PC Windows 11 AI riceveranno un aggiornamento gratuito alle esperienze Copilot+ PC quando saranno disponibili.
“NVIDIA ha dato il via all’era dei PC AI nel 2018 con il rilascio delle GPU RTX Tensor Core e di NVIDIA DLSS“, ha dichiarato Jason Paul, vicepresidente della divisione consumer AI di NVIDIA. “Ora, con Project G-Assist e NVIDIA ACE, stiamo sbloccando la prossima generazione di esperienze basate sull’intelligenza artificiale per oltre 100 milioni di utenti di PC RTX AI“.
Project G-Assist, un assistente AI GeForce
Gli assistenti AI sono destinati a trasformare le esperienze di gioco e in-app, sottolinea NVIDIA: dall’offerta di strategie di gioco e dall’analisi dei replay multigiocatore all’assistenza nei complessi flussi di lavoro creativi. Project G-Assist è un’anticipazione di questo futuro.
I giochi per PC offrono vasti universi da esplorare e meccaniche intricate da padroneggiare, che sono imprese impegnative e richiedono tempo anche per i gamer più appassionati. Project G-Assist mira a mettere la conoscenza dei giochi a portata di mano dei gamer utilizzando l’intelligenza artificiale generativa.
Il progetto G-Assist prende input vocali o testuali dal giocatore, insieme a informazioni contestuali dalla schermata di gioco, e fa passare i dati attraverso modelli di visione AI. Questi modelli migliorano la consapevolezza del contesto e la comprensione specifica dell’applicazione di un modello linguistico di grandi dimensioni (LLM) collegato a un database di conoscenza del gioco, e quindi generano una risposta su misura sotto forma di testo o di voce.
NVIDIA ha collaborato con Studio Wildcard per dimostrare la tecnologia con ARK: Survival Ascended. Project G-Assist può aiutare a rispondere a domande su creature, oggetti, storia, obiettivi e altro ancora. Poiché Project G-Assist è consapevole del contesto, personalizza le proprie risposte in base alla sessione di gioco del gamer.
Inoltre, Project G-Assist può configurare il sistema di gioco del gamer per ottenere prestazioni ed efficienza ottimali. È in grado di fornire informazioni sulle metriche delle prestazioni, di ottimizzare le impostazioni grafiche in base all’hardware dell’utente, di applicare un overclock sicuro e persino di ridurre in modo intelligente i consumi energetici mantenendo un obiettivo di prestazioni.
Il runtime di Windows Copilot aggiunge l’accelerazione GPU per gli SLM locali sui PC
La tecnologia NVIDIA ACE per l’alimentazione degli esseri umani digitali è ora disponibile per i PC e le workstation RTX AI con NVIDIA NIM, microservizi di inferenza che consentono agli sviluppatori di ridurre i tempi di implementazione da settimane a minuti. I microservizi ACE NIM offrono un’inferenza di alta qualità in esecuzione locale sui dispositivi per la comprensione del linguaggio naturale, la sintesi vocale, l’animazione facciale e altro ancora.
Inoltre, Microsoft e NVIDIA stanno collaborando per aiutare gli sviluppatori a portare nuove capacità di intelligenza artificiale generativa nelle loro applicazioni native e web per Windows. Questa collaborazione offrirà agli sviluppatori di applicazioni un facile accesso all’interfaccia di programmazione delle applicazioni (API) ai modelli linguistici di piccole dimensioni (SLM) accelerati dalle GPU che consentono capacità di retrieval-augmented generation (RAG) eseguite on device come parte di Windows Copilot Runtime.
Gli SLM offrono enormi possibilità agli sviluppatori Windows, sottolinea NVIDIA, tra cui la sintesi dei contenuti, la generazione di contenuti e l’automazione delle attività. Le funzionalità RAG aumentano gli SLM dando ai modelli di intelligenza artificiale l’accesso a informazioni specifiche del dominio non ben rappresentate nei modelli di base. Le API RAG consentono agli sviluppatori di sfruttare fonti di dati specifiche per le applicazioni e di ottimizzare il comportamento e le funzionalità degli SLM sulle esigenze delle applicazioni.
Queste capacità di intelligenza artificiale saranno accelerate dalle GPU NVIDIA RTX e dagli acceleratori di intelligenza artificiale di altri produttori di hardware, offrendo agli utenti finali esperienze di intelligenza artificiale rapide e reattive in tutto l’ecosistema Windows.
L’API sarà rilasciata in anteprima per gli sviluppatori nel corso dell’anno.
Modelli 4 volte più veloci e 3 volte più piccoli con il toolkit RTX AI
L’ecosistema dell’intelligenza artificiale ha creato centinaia di migliaia di modelli open-source che gli sviluppatori di app possono sfruttare, ma la maggior parte dei modelli sono pre-addestrati per scopi generali e costruiti per essere eseguiti in un data center.
Per aiutare gli sviluppatori a creare modelli di intelligenza artificiale specifici per le applicazioni che funzionano su PC, NVIDIA sta introducendo RTX AI Toolkit, una suite di strumenti e SDK per la personalizzazione, l’ottimizzazione e la distribuzione dei modelli sui PC RTX AI. RTX AI Toolkit sarà disponibile nel corso del mese per un accesso più ampio agli sviluppatori.
Gli sviluppatori possono personalizzare un modello preaddestrato con gli strumenti QLoRa open-source. Quindi, possono utilizzare l’ottimizzatore di modelli NVIDIA TensorRT per quantizzare i modelli e consumare fino a tre volte meno RAM. NVIDIA TensorRT Cloud ottimizza quindi il modello per ottenere le massime prestazioni attraverso le lineup di GPU RTX. Il risultato – afferma l’azienda – è una performance fino a 4 volte superiore rispetto al modello preaddestrato.
Il nuovo SDK NVIDIA AI Inference Manager, ora disponibile in accesso anticipato, semplifica la distribuzione di ACE sui PC. Preconfigura il PC con i modelli di intelligenza artificiale, i motori e le dipendenze necessarie e orchestra l’inferenza dell’intelligenza artificiale senza soluzione di continuità tra i PC e il cloud.
Partner software come Adobe, Blackmagic Design e Topaz stanno integrando componenti dell’RTX AI Toolkit all’interno delle loro popolari applicazioni creative per accelerare le prestazioni dell’AI sui PC RTX.
“Adobe e NVIDIA continuano a collaborare per offrire ai clienti esperienze rivoluzionarie in tutti i workflow creativi, dal video all’imaging, al design, al 3D e oltre“, ha dichiarato Deepa Subramaniam, vicepresidente del marketing di prodotto di Creative Cloud di Adobe. “TensorRT 10.0 sui PC RTX offre prestazioni senza precedenti e funzionalità AI per creator, designer e sviluppatori, sbloccando nuove possibilità creative per la creazione di contenuti in strumenti creativi leader del settore come Photoshop.”
I componenti dell’RTX AI Toolkit, come TensorRT-LLM, sono integrati in popolari framework e applicazioni per sviluppatori per l’IA generativa, tra cui Automatic1111, ComfyUI, Jan.AI, LangChain, LlamaIndex, Oobabooga e Sanctum.AI.
L’AI per la creazione di contenuti
NVIDIA sta anche integrando l’accelerazione RTX AI nelle app per creator, modder e appassionati di video.
L’anno scorso, NVIDIA ha introdotto l’accelerazione RTX utilizzando TensorRT per una delle interfacce utente più popolari di Stable Diffusion, Automatic1111. A partire da questa settimana, RTX accelererà anche la popolare ComfyUI, offrendo un miglioramento delle prestazioni fino al 60% rispetto alla versione attualmente in commercio e prestazioni 7 volte superiori rispetto al MacBook Pro M3 Max, sostiene l’azienda.
NVIDIA RTX Remix è una piattaforma di modding per la rimasterizzazione di giochi classici DirectX 8 e DirectX 9 con ray-tracing completo, NVIDIA DLSS 3.5 e materiali fisicamente accurati. RTX Remix include un runtime renderer e l’applicazione RTX Remix Toolkit, che facilita il modding di asset e materiali di gioco.
L’anno scorso NVIDIA ha reso open source RTX Remix Runtime, consentendo ai modder di espandere la compatibilità dei giochi e di migliorare le capacità di rendering.
Dal lancio di RTX Remix Toolkit all’inizio di quest’anno, 20.000 modder lo hanno utilizzato per modificare giochi classici, dando vita a oltre 100 remaster RTX in fase di sviluppo su RTX Remix Showcase Discord.
Questo mese NVIDIA renderà open source RTX Remix Toolkit, consentendo ai modder di semplificare le modalità di sostituzione degli asset e di riaccensione delle scene, di aumentare i formati di file supportati dall’ingestor di asset di RTX Remix e di potenziare gli strumenti di texture AI di RTX Remix con nuovi modelli.
Inoltre, NVIDIA sta rendendo accessibili le capacità di RTX Remix Toolkit tramite un’API REST, consentendo ai modder di collegare in diretta RTX Remix a strumenti di creazione di contenuto digitale come Blender, strumenti di modding come Hammer e applicazioni di AI generativa come ComfyUI. NVIDIA sta inoltre fornendo un SDK per RTX Remix Runtime per consentire ai modder di implementare il renderer di RTX Remix in altre applicazioni e giochi al di là delle classiche DirectX 8 e 9.
Grazie all’open source della piattaforma RTX Remix, i modder di tutto il mondo potranno creare remaster RTX ancora più sorprendenti.
NVIDIA RTX Video, la funzionalità di super-risoluzione alimentata dall’intelligenza artificiale e supportata dai browser Google Chrome, Microsoft Edge e Mozilla Firefox, è ora disponibile come SDK per tutti gli sviluppatori, che potranno così integrare in modo nativo l’intelligenza artificiale per l’upscaling, lo sharpening, la riduzione degli artefatti di compressione e la conversione ad alta gamma dinamica (HDR).
In arrivo nei software di editing video DaVinci Resolve di Blackmagic Design e Wondershare Filmora, RTX Video consentirà agli editor video di eseguire l’upscaling di file video di qualità inferiore fino alla risoluzione 4K, nonché di convertire i file sorgente a gamma dinamica standard in HDR. Inoltre, il lettore multimediale gratuito VLC media aggiungerà presto RTX Video HDR alla sua capacità di super-risoluzione esistente.
