Geekbench ML 0.5 è la prima preview release del nuovo strumento di benchmark per il machine learning di Primate Labs, ora disponibile per Android e iOS. Geekbench ML è stato rilasciato come download gratuito da Google Play e App Store.
Primate Labs è nota per Geekbench, un’app di benchmark multipiattaforma che misura le prestazioni del sistema su cui è in esecuzione ed è disponibile per macOS, Windows, Linux, iOS e Android.
Geekbench ML misura invece le prestazioni di inferenza del machine learning (non del training) utilizzando task di computer vision e di elaborazione del linguaggio naturale del mondo reale.
Primate Labs ha reso noto di aver basato i benchmark di Geekbench ML su task di machine learning del mondo reale che si trovano in applicazioni mobili all’avanguardia.
Per esempio, le app di videoconferenza usano l’Image Segmentation per fornire funzioni come la sfocatura automatica dello sfondo. Quelle di social media usano la Face Detection (insieme alla facial landmark recognition) per funzioni di elaborazione e filtri. Altre app utilizzano la Machine Translation per fornire in tempo reale sul dispositivo la traduzione di pagine web, messaggi di testo e anche il testo raffigurato nelle immagini.
Tutti i test, ha evidenziato Primate Labs, utilizzano modelli standard del settore ben noti, garantendo che i risultati di Geekbench ML siano rilevanti e applicabili alle prestazioni delle applicazioni di machine learning mobile.
Le descrizioni complete dei carichi di lavoro, comprese le informazioni sui dataset, la struttura del modello e le metriche di precisione, sono disponibili nel documento Geekbench ML 0.5 Inference Workloads.
Primate Labs ha anche sottolineato di aver progettato Geekbench ML da zero per confronti multipiattaforma. Ogni test utilizza gli stessi modelli e lo stesso dataset su ogni piattaforma, consentendo agli utenti di confrontare la performance nel machine learning tra dispositivi, sistemi operativi e acceleratori.
Geekbench ML si integra anche con Geekbench Browser, che permette agli utenti di caricare e condividere i loro risultati di benchmark con altri utenti in tutto il mondo.
Primate Labs pubblica poi un grafico di benchmark di machine learning basato sui risultati di Geekbench ML caricati sul Geekbench Browser. Questo grafico consente agli utenti di vedere come i loro dispositivi dovrebbero comportarsi e come i device si raffrontano tra loro.
Geekbench ML 0.5 è una preview release ed è il frutto di oltre due anni di lavoro, ha sottolineato John Poole, fondatore di Primate Labs. L’azienda spera di iterare rapidamente su Geekbench ML e i suoi benchmark quest’anno, con un rilascio finale di Geekbench ML 1.0 atteso più avanti nel corso dell’anno, dopo aver acquisito anche il feedback della community.
Siccome in questa fase di anteprima e rifinitura verranno migliorati anche i benchmark, ciò comporterà che i punteggi delle versioni di anteprima potrebbero non essere compatibili tra loro, per esempio tra Geekbench ML 0.5 e la versione 0.6.
