Le Tensor Processing Units (TPU) sono dei circuiti integrati Asic custom sviluppati da Google per l’accelerazione dei carichi di lavoro di machine learning.
Questi acceleratori di intelligenza artificiale possono essere assemblati per realizzare supercomputer multi-rack per il machine learning, connessi con reti personalizzate ad alta velocità, denominati Cloud TPU Pod. Grazie a questi acceleratori e a tali configurazioni, completare dei complessi carichi di lavoro di machine learning diventa una questione di ore o finanche minuti, rispetto a giorni o settimane.
Esistono varie versioni (in diverse fasi di disponibilità, alpha, beta e finale, anche a seconda dell’area geografica) di Cloud TPU e di pod: in relazione a questi ultimi, Google offre pod Cloud TPU v2 e v3.
L’infrastruttura cloud per l’intelligenza artificiale di Big G si basa chiaramente sulla Google Cloud Platform (GCP) e consente alle aziende di completare il training di modelli di machine learning in modo più veloce e su scala maggiore, riducendo allo stesso tempo i costi. Si tratta di soluzioni indicate per sviluppatori, ricercatori, ingegneri, data scientist e altre figure professionali o aziende che realizzano soluzioni e applicazioni di intelligenza artificiale.
Per quanto riguarda le prestazioni, Google ha di recente pubblicato dei benchmark MLPerf che, secondo Mountain View, dimostrano come Google Cloud sia il primo fornitore di cloud pubblico a superare i sistemi on-premise nell’esecuzione dei workload standard del training di machine learning su larga scala, quali Transformer, Single Shot Detector (SSD) e ResNet-50. Transformer è un’architettura centrale nelle implementazioni moderne del natural language processing mentre SSD è ampiamente utilizzato per la computer vision e il rilevamento oggetti.
Nelle categorie Transformer e SSD, Google afferma che i pod Cloud TPU v3 hanno eseguito il training dei modelli più velocemente dell’84% rispetto al sistema on-premise più veloce della Closed Division di MLPerf.
Ulteriori dettagli sui benchmark sono disponibili su questo post del blog di Google Cloud.
