Stone Temple, un’agenzia di digital marketing particolarmente nota negli Stati Uniti, ha messo a confronto i digital personal assistant più diffusi al momento (Google Assistant per Google Home, Alexa per Amazon Echo, Microsoft Cortana e Apple Siri per smartphone) per capire quale sia il più competente (non il più efficace in generale). Come termine di paragone è stato preso Google nel suo “volto” di motore di ricerca.
Il test si è svolto ponendo ai vari digital personal assistant circa cinquemila domande su nozioni comuni, quindi si è trattato di un test sulla pura conoscenza. La valutazione dei vari assistenti digitali è stata fatta in base a quanto correttamente (e se) ciascuno forniva una sua risposta e delle caratteristiche di quest’ultima, ad esempio se veniva citata una fonte specifica di supporto.
Il risultato complessivo del test di Stone Temple è che nessun digital personal assistant riesce a battere Google come motore di ricerca.
Quello che ci si avvicina di più è prevedibilmente Google Assistant per Google Home, che si basa sulla stessa conoscenza ed è efficace quando risponde, solo che lo fa circa sette volte su dieci. Sono andati peggio gli altri, con Cortana che si è difesa abbastanza, Alexa che risponde bene ma molto poco e Siri che delude sia sulla frequenza sia sulla correttezza delle risposte.
Analizzando i risultati più in dettaglio si notano alcuni particolari interessanti. Ad esempio che i digital personal assistant da smartphone – gli unici che possono rispondere sia verbalmente sia presentando informazioni a schermo – sono ancora molto poco “dialoganti”, indipendentemente dalla qualità delle risposte. Siri ha risposto verbalmente a circa un quinto delle domande, Cortana a circa un ventesimo.
Uno dei punti interessanti nel funzionamento dei digital personal assistant sta nel come e quanto cercano di rispondere alle domande andando oltre una semplice ricerca sul web. A domande cioè che non sono del tipo “chi è Oscar Wilde” ma più simili a “quanto veloce corre un giaguaro” o “come si usano le stampelle”. In questo caso gli assistenti digitali riescono a rispondere meno spesso ma la percentuale di correttezza delle risposte è elevata, oltre 80 percento. Tranne che per Siri, le cui prestazioni non cambiano rispetto alla media.
Infine, la percentuale di risposte date dai digital personal assistant e completamente sbagliate è stata bassa. Va peggio Siri con quasi il 3 percento, gli altri non arrivano al punto percentuale.
