PyTorch è una delle librerie open source più popolari per il machine learning e il deep learning, per l’accelerazione dell’intero percorso dalla ricerca e la prototipazione, fino al deployment in produzione.
Gli sviluppatori e i ricercatori, di PyTorch apprezzano in particolare la flessibilità che offre nella costruzione e nel training di modelli. Tuttavia, sottolinea Amazon AWS, questo aspetto rappresenta solo una metà dei vantaggi: l’implementazione e la gestione di modelli in produzione è spesso la parte più difficile del processo di machine learning, con creazione di Api di previsione, ridimensionamento, protezione e così via.
Un modo per semplificare il processo di deployment del modello, spiega ancora AWS, consiste nell’utilizzare un model server, ovvero un’applicazione web standard appositamente progettata per servire le previsioni di machine learning in produzione.
I model server semplificano il caricamento di uno o più modelli e la creazione automatica di un’Api di previsione supportata da un server web scalabile. Sono anche in grado di eseguire codice di preprocessing e postprocessing sulle richieste di previsione. Infine, ma non meno importante, i server di modelli forniscono anche funzionalità critiche per la produzione quali logging, monitoraggio e sicurezza. Tra i server di modelli più diffusi ci sono TensorFlow Serving e Multi Model Server.
Di recente Amazon AWS e Facebook hanno annunciato TorchServe, una libreria per il serving dei modelli PyTorch che rende più semplice il deployment su larga scala dei modelli PyTorch addestrati senza dover scrivere codice custom.
TorchServe nasce da una collaborazione tra AWS e Facebook ed è disponibile come parte del progetto open source PyTorch.
Con TorchServe, gli utenti di PyTorch hanno la possibilità di portare i loro modelli in produzione più rapidamente, senza dover scrivere codice personalizzato: oltre a fornire un’Api di previsione a bassa latenza, TorchServe incorpora handler di default per le applicazioni più comuni, come il rilevamento di oggetti e la classificazione del testo.
Inoltre, TorchServe include serving multi-modello, versioning dei modelli per testing A/B, metriche di monitoraggio ed endpoint RESTful per l’integrazione di applicazioni.
TorchServe supporta qualsiasi ambiente di machine learning, tra cui Amazon SageMaker, servizi container e Amazon Elastic Compute Cloud (EC2).
