Alix Leconte, VP for Service Providers (EMEA) di F5, spiega come portare l’AI Generativa a un nuovo livello e come le telco possono supportare la rivoluzione.
Negli ultimi 18 mesi, l’AI generativa ha conquistato il mondo. Nuovi servizi, come ChatGPT e DALL-E, sono in grado di creare testi, immagini e codice software in risposta alle richieste degli utenti, espressi nel linguaggio naturale. Questo ha aperto nuove possibilità di produttività, e, secondo una ricerca recente di Bloomberg Intelligence, il mercato dell’AI generativa potrebbe valere fino a 1,3 trilioni di dollari entro il 2032.
Poiché il valore di questa tecnologia è ormai evidente, si sta assistendo a una crescente spinta alla creazione di versioni specifiche per settori e regioni dei Large Language Models (LLM) che consentono ai computer di generare testi e altri contenuti credibili.
Un LLM è un modello statistico di linguaggio addestrato su una vastissima mole di dati. Può essere utilizzato per generare e tradurre testi, oltre che per elaborare il linguaggio naturale. Gli LLM sono in genere basati su architetture di deep-learning.
In tutto il mondo, gli operatori di telecomunicazioni più all’avanguardia si stanno già attrezzando per assumere un ruolo fondamentale nella fornitura e nella sicurezza di questi LLM specializzati. In particolare, si prevede una forte domanda di soluzioni di GenAI end-to-end da parte di imprese, start-up, università e enti pubblici che non dispongono delle risorse necessarie per creare autonomamente l’infrastruttura informatica richiesta.
Si tratta di una tendenza molto interessante e, con adeguate misure di sicurezza, le soluzioni LLM-as-a-service potrebbero presto essere utilizzate per sviluppare applicazioni GenAI specifiche per settori cruciali come la sanità, l’istruzione, i trasporti e altri (inclusi i servizi di telecomunicazioni).
Le sfide
Quindi, quali sono i passi successivi per far funzionare tutto ciò e quali sono le principali sfide che ci aspettano?
Dato che devono essere reattivi, affidabili e sempre disponibili, molti LLM saranno probabilmente distribuiti su più cloud e edge. In effetti, con la latenza appropriata, la GenAI sarà parte integrante delle proposte edge delle telecomunicazioni, poiché gli utenti avranno bisogno di risposte “conversazionali” in tempo reale.
Per le società di telecomunicazioni che hanno faticato a incrementare i ricavi, la fornitura di infrastrutture edge per supportare sistemi GenAI specializzati potrebbe rappresentare un nuovo importante mercato. Bloomberg Intelligence stima che il mercato delle infrastrutture GenAI-as-a-service (utilizzate per addestrare gli LLM) raggiungerà un valore di 247 miliardi di dollari entro il 2032.
Tuttavia, coloro che sperano di avere successo con la GenAI devono procedere con cautela. Le architetture distribuite, che possono aumentare la superficie di attacco potenziale, richiedono soluzioni di sicurezza robuste e scalabili per prevenire la perdita di dati e informazioni personali, sia durante la fase di addestramento che durante l’inferenza dell’intelligenza artificiale.
Dal momento che i malintenzionati utilizzano sempre più spesso tecniche di movimento laterale per infiltrarsi in sistemi interconnessi, è fondamentale che le società di telecomunicazioni mettano in sicurezza e proteggano sia le applicazioni che le API utilizzate da terze parti per accedere all’LLM-as-a-service.
Per aumentare la consapevolezza in questo ambito, la Open Web Application Security Project (OWASP) ha recentemente avviato un nuovo progetto per educare sviluppatori, progettisti, architetti, manager e organizzazioni sui potenziali rischi per la sicurezza durante l’implementazione e la gestione degli LLM.
Una cosa è certa: le società di telecomunicazioni devono mantenere la fiducia dei clienti per diventare attori credibili in questo mercato, poiché i sistemi GenAI dovranno frequentemente elaborare dati personali o sensibili dal punto di vista commerciale. Per questo motivo, molti governi e autorità di regolamentazione desiderano che questi sistemi operino su capacità di calcolo situate all’interno delle loro giurisdizioni. Nel frattempo, anche le imprese sono restie a condividere dati sensibili che potrebbero minacciare la loro proprietà intellettuale e, pertanto, preferiscono utilizzare offerte private di LMM.
Altri aspetti rilevanti includono il modo in cui i cluster di intelligenza artificiale agiscono come comunità di utenti virtuali, il che richiede data path ad alte prestazioni per accedere alle informazioni contenute negli archivi privati di Paesi e aziende.
Inoltre, l’impatto dell’AI sul traffico e sull’infrastruttura di rete sarà sempre più influenzato dai piani dei Paesi e delle aziende per il self-host delle applicazioni di AI. Le preoccupazioni riguardanti le allucinazioni (AI hallucination), il copyright, la sicurezza e l’impatto ambientale dell’intelligenza artificiale spingono molti a cercare maggiore sicurezza e controllo sui dati. Inoltre, saranno necessari nuovi metodi per mitigare la prevista pressione sulle GPU. Tutte queste considerazioni hanno un impatto sul TCO complessivo delle infrastrutture di AI.
Le telco: protezione flessibile e scalabile in più ambienti
Le società di telecomunicazioni possono effettivamente giocare un ruolo cruciale nella rivoluzione dell’intelligenza artificiale. Posseggono infrastrutture nazionali consolidate, vantano un’offerta business-to-business già esistente e rappresentano una scelta naturale per diventare fornitori di AI-as-a-service.
F5 sta già collaborando con una telco in Europa per supportare la sua nuova proposta GenAI. In questo caso, il nostro cliente sta utilizzando le tecnologie Nvidia DGX Super POD e Nvidia AI Enterprise per sviluppare il primo LLM addestrato nativamente in una lingua locale. L’obiettivo è catturare le sfumature della lingua, così come le specificità della sua grammatica, del contesto e dell’identità culturale.
Per proteggere la soluzione su diversi siti periferici, la compagnia di telecomunicazioni si affiderà a F5 Distributed Cloud Web Application and API Protection (WAAP), fornito come servizio basato su cloud. Inoltre, sfrutterà i cluster ADC di F5 per eseguire il bilanciamento del carico della nuova piattaforma AI nell’infrastruttura edge.
È rilevante notare che le soluzioni di F5 possono essere utilizzate sia in cloud pubblico che in data center multi-tenancy, così come internamente e per l’infrastruttura edge.
In aggiunta, F5 Distributed Cloud WAAP e le soluzioni di sicurezza API associate possono scalare rapidamente al crescere del traffico, riducendo il costo complessivo della fornitura di LLM-as-a-service. F5 fornisce anche la visibilità del flusso di traffico, della latenza e dei tempi di risposta, elementi essenziali per le società di telecomunicazioni e altri fornitori di servizi gestiti per garantire ai clienti aziendali accordi sui livelli di servizio (SLA).
Un ulteriore modo in cui F5 può essere d’aiuto è gestire il fatto che le attività di inferenza dei LLM e di intelligenza artificiale richiedono notevoli risorse. Questi carichi di lavoro comportano scambi estesi di dati e spesso causano colli di bottiglia a causa della necessità di garantire scambi di dati sicuri su larga scala. Ciò può portare a un utilizzo ridotto di risorse preziose, con conseguente aumento dei costi operativi e ritardi nel conseguimento degli obiettivi desiderati.
Se le società di telecomunicazioni sapranno sfruttare in modo intelligente soluzioni di sicurezza scalabili e robuste, avranno tutte le carte in regola per diventare affidabili fornitori di LLM specifici per settore e nazione. Coloro che riusciranno in questo obiettivo otterranno sicuramente un significativo vantaggio competitivo negli anni a venire.
