MosaicML, fornitore di sviluppo software che offre infrastrutture e strumenti per la creazione di modelli di machine learning (apprendimento automatico) su larga scala, ha scelto Oracle Cloud Infrastructure (OCI) come infrastruttura cloud d’elezione per aiutare le aziende a estrarre più valore dai loro dati.
Grazie all’infrastruttura AI ad alte prestazioni di OCI, MosaicML dichiara di aver riscontrato prestazioni fino al +50% più veloci e risparmi sui costi fino al -80% rispetto all’uso di altri cloud provider.
“Centinaia di organizzazioni si affidano alla piattaforma di MosaicML per sviluppare e addestrare modelli generativi di IA complessi e di grandi dimensioni. Noi forniamo ai clienti sistemi e hardware di elevata complessità in modo che loro possano concentrarsi sulla creazione e implementazione dei propri modelli personalizzati ad alte prestazioni“, ha dichiarato Naveen Rao, CEO e co-fondatore di MosaicML. “Abbiamo scelto OCI perché riteniamo che sia la base migliore per MosaicML. Quando si addestrano modelli con enormi quantità di dati in cloud, ogni minuto è importante e con OCI spendiamo meno che con altri cloud provider e possiamo scalare quasi linearmente grazie al modo in cui Oracle ha configurato le sue interconnessioni“.
MosaicML aiuta le organizzazioni a rendere più efficiente e accessibile l’addestramento e l’inferenza dei modelli di AI grazie alle sue capacità di training dei modelli. Per far scalare il proprio business e supportare la crescente domanda di servizi di AI, MosaicML ha scelto OCI. Con OCI, MosaicML ha potuto accedere alle più recenti GPU NVIDIA, con un’interconnessione ad altissima banda tra i nodi e blocchi di calcolo di grandi dimensioni per scalare fino a migliaia di GPU. Questo ha permesso a MosaicML di aiutare grandi aziende e startup a rendere operativi i propri modelli di AI, tra cui Twelve Labs.
Twelve Labs è una startup di AI che sta costruendo modelli di base per la comprensione di video multimodali. Sfruttando la piattaforma MosaicML in esecuzione su OCI e l’infrastruttura AI di OCI, Twelve Labs è stata in grado di scalare e distribuire in modo efficiente i suoi modelli AI per aiutare gli utenti a cercare, classificare e utilizzare in modo più efficace i loro dati video per varie applicazioni.
“La combinazione di MosaicML e Oracle ci ha fornito la collaborazione perfetta per aiutarci a gestire grandi capacità ad alta velocità e a tenere il passo con la nostra crescita, nel lungo termine“, ha dichiarato Jae Lee, fondatore e CEO di Twelve Labs. “MosaicML ci permette di gestire in modo efficiente i nostri grandi cluster di AI, mentre l’infrastruttura AI di OCI ci garantisce di non dover scendere a compromessi sulla velocità, il che ci ha fatto risparmiare migliaia di ore e decine di migliaia di dollari in termini di migliorata efficienza“.
OCI offre diverse funzionalità per l’AI, tra cui l’infrastruttura AI. Le macchine virtuali OCI Compute e le istanze GPU bare-metal alimentano applicazioni di computer vision, elaborazione del linguaggio naturale, sistemi di suggerimento e altro ancora. Per l’addestramento di modelli complessi e di grandi dimensioni, come i modelli linguistici di grandi dimensioni (LLM), OCI Supercluster offre networking di cluster a bassissima latenza, storage HPC e istanze OCI Compute bare-metal alimentate da GPU NVIDIA. Le istanze di OCI Compute sono collegate da una rete Ethernet ad alte prestazioni che utilizza RoCE v2 (RDMA over Converged Ethernet v2). Oracle sostiene che l’ampiezza di banda delle GPU A100 fornite da OCI supera dalle 4 alle 16 volte tanto quella di AWS e GCP, riducendo così i tempi e i costi di addestramento AI per il machine learning.
“Sempre più aziende di AI si rivolgono a OCI per l’esecuzione di modelli di AI generativa, perché possiamo eseguirli in modo più rapido ed economico rispetto ad altri cloud provider. Non è raro addestrare un modello da 10 miliardi di parametri in poche ore su OCI rispetto a qualche giorno su altre piattaforme“, ha dichiarato Greg Pavlik, Senior Vice President di Oracle. “L’architettura di OCI e la sua progettazione di rete non bloccante e a bassa latenza sono fondamentalmente diversi da quelli presenti sul mercato“.
