C’è un team nel Reality Labs di Meta incaricato di inventare il futuro dell’interazione nella realtà aumentata e virtuale, e lo fa a partire da un guanto tattile.
Tuttavia, non stanno solo cercando un nuovo tipo di gadget. Stanno lanciando una visione, basata sulla loro esperienza in campi altamente tecnici, per come saranno i nostri mondi digitali tra 10 o 15 anni. Il loro compito è quindi creare la tecnologia futura di cui le persone avranno bisogno per un’interazione senza attriti con quei mondi.
Il lavoro svolto da questi ricercatori, ingegneri e designer è ricerca e sviluppo a lungo termine. In effetti, è così nuovo che stanno, in alcuni casi, inventando domini completamente nuovi della ricerca scientifica. Le tecnologie risultanti hanno il potenziale non solo di alterare radicalmente il corso della realtà aumentata e virtuale, ma di influenzare potenzialmente campi diversi come la medicina e i viaggi nello spazio.
Questo è l’epicentro della prossima era dell’interazione uomo-computer, un audace progetto di ricerca progettato per affrontare una delle sfide centrali del metaverso: come interagiamo con il mondo virtuale?
Toccare il mondo digitale con guanti tattili
Immaginate di lavorare su un puzzle 3D virtuale con l’avatar 3D ultra realistico di un amico. Quando prendete un pezzo del puzzle virtuale dal tavolo, le dita smettono automaticamente di muoversi sentendolo a portata di mano. Potete sentire la nitidezza dei bordi del cartone e la levigatezza della sua superficie mentre lo sollevate per guardarlo da vicino.
Ora immaginate di sedervi a lavorare in un bar e di avere uno schermo virtuale e una tastiera visualizzati di fronte. La tastiera virtuale si adatta alle dimensioni delle mani e allo spazio che avete a disposizione ed è facilmente personalizzabile in base alle vostre preferenze. Potete sentire il clic di ogni sequenza di tasti, così come i bordi dei tasti virtuali sulla punta delle dita, rendendolo facile come digitare su una tastiera fisica di dimensioni perfette.
In che modo queste esperienze migliorerebbero la connessione con il mondo virtuale? Cosa farebbero per la nostra capacità di essere produttivi o di eseguire qualsiasi azione nel metaverso?
L’esperienza più vicina a questo che abbiamo oggi è il tracciamento delle mani su Quest, che consente di vedere una versione digitale delle proprie mani in VR e manipolare oggetti virtuali, ma senza sentirli effettivamente nelle tue mani.
Sebbene questa capacità di usare le mani direttamente in VR sia un enorme miglioramento rispetto ai controller Touch, senza feedback tattile, semplicemente non possiamo essere abili nel mondo virtuale come nel mondo reale. L’obiettivo di questa ricerca è cambiarlo.
Sean Keller guida l’interazione AR/VR e la ricerca sugli input presso Reality Labs Research. Il suo team multidisciplinare è focalizzato sulla costruzione di interfacce per la prossima era dell’informatica, guidando la ricerca attraverso i domini di aptica, input EMG, robotica morbida, design, scienza percettiva, apprendimento automatico applicato e altro ancora.
Complessità e vantaggi di un guanto tattile
L’obiettivo di Keller è inventare guanti tattili morbidi e leggeri che affrontano entrambi i lati del problema dell’interazione AR/VR, aiutando il computer a comprendere e riflettere accuratamente i movimenti della mano di chi lo indossa e riproducendo una gamma di sensazioni complesse e sfumate per chi lo indossa come la pressione , consistenza e vibrazione per creare l’effetto di sentire un oggetto virtuale con le mani.
Per avere successo, questi guanti dovrebbero essere eleganti, comodi, convenienti, resistenti e completamente personalizzabili. Saresti in grado di accoppiarli con il tuo visore VR per un’esperienza coinvolgente come giocare a un concerto o a una partita di poker nel metaverso e, alla fine, funzionerebbero anche con i tuoi occhiali AR. Molto più di un semplice dispositivo periferico, questi guanti renderebbero tangibile il mondo virtuale.
Ma un guanto tattile veramente nuovo richiederà sviluppi rivoluzionari in molte discipline scientifiche e ingegneristiche. La squadra di Keller vuol essere all’altezza della sfida.
Di fronte a questa sfida monumentale, Keller e il suo team hanno iniziato chiedendosi cosa sarebbe necessario per creare sensazioni tattili credibili sulla mano.
Per offrire un senso del tatto realistico, un guanto tattile ha bisogno di centinaia di attuatori (piccoli motori) su tutta la mano, che si muovono di concerto in un modo che fa sentire chi lo indossa come se stesse toccando un oggetto virtuale.
Ma gli attuatori meccanici esistenti creano troppo calore perché un guanto del genere possa essere indossato comodamente tutto il giorno. Sono anche troppo grandi, rigidi, costosi e assetati di potere per riprodurre sensazioni tattili realistiche.
Due anni dopo l’inizio, il team si era scontrato con i limiti dei tradizionali componenti elettrici e metallici.
Hanno ipotizzato di poter sostituire gli attuatori meccanici con quelli morbidi e flessibili, realizzati con materiali completamente nuovi, che potrebbero cambiare forma in risposta ai movimenti di chi li indossa. Ma questi attuatori semplicemente non esistevano ancora.
Il team si è rivolto ai campi emergenti della robotica morbida e della microfluidica, tecnologie comunemente utilizzate rispettivamente negli arti protesici e nei dispositivi diagnostici PoC.
Negli ultimi due anni, hanno compiuto progressi significativi sia negli attuatori pneumatici , che utilizzano la pressione dell’aria per creare forza, sia negli attuatori elettroattivi, che cambiano forma o dimensione in presenza di un campo elettrico.
Per offrire un senso del tatto realistico, un guanto tattile ha bisogno di centinaia di attuatori su tutta la mano, che si muovono di concerto in un modo che fa sentire chi lo indossa come se stesse toccando un oggetto virtuale. Il team ha compiuto progressi con la miniaturizzazione degli attuatori pneumatici (nella foto), che utilizzano la pressione dell’aria per creare forza.
I microchip e i software per i guanti tattili
Per controllare questi nuovi attuatori morbidi, stanno costruendo il primo processore microfluidico ad alta velocità al mondo, un minuscolo chip microfluidico sul guanto che controlla il flusso d’aria che muove gli attuatori, dicendo alle valvole quando e quanto lontano aprire e chiudere.
Ma anche con un modo per controllare il flusso d’aria, il sistema avrebbe bisogno di sapere quando e dove fornire le giuste sensazioni. Ciò richiedeva una tecnologia avanzata di tracciamento della mano che potesse consentire al computer di sapere con precisione dove si trova la mano in una scena virtuale, se si è in contatto con un oggetto virtuale e come la mano interagisce con l’oggetto.
Richiedeva anche un nuovo tipo di software di rendering che potesse inviare le istruzioni giuste agli attuatori sulla mano al momento giusto, in base alla posizione della mano e alla comprensione dell’ambiente virtuale, inclusi la consistenza, il peso e la rigidità di gli oggetti virtuali in esso contenuti.
«Una delle sfide è creare software che funzioni con diversi tipi di attuatori e supporti un’ampia gamma di esperienze tattili», aggiunge Andrew Doxon, ingegnere del software di ricerca RL. «Alla fine, dovremo anche creare strumenti che consentano alle persone di creare contenuti tattili nello stesso modo in cui creerebbero contenuti visivi o audio».
La fisica dei guanti: una sfida avvincente
Mentre il team continuava il suo lavoro nel suo quarto anno, è emersa una terza sfida: per far funzionare le trame e le sensazioni, avrebbero dovuto modellare la fisica del tatto in un modo che imitasse la realtà, ma senza essere in grado di ricreare completamente la fisica del mondo reale.
Sebbene i guanti tattili possano fornire un feedback prezioso, non possono impedire perfettamente alle tue dita di chiudersi mentre tenti di afferrare un oggetto virtuale o impedire alle tue mani di passare attraverso un tavolo virtuale mentre le appoggi sulla superficie, ad esempio.
Si sono rivolti alla scienza percettiva e all’integrazione multisensoriale , lo studio di come i sensi umani lavorano insieme per costruire la nostra comprensione del mondo.
Sophie Kim, responsabile della ricerca scientifica sulla UX, spiega come il team stia sfruttando le capacità percettive umane per creare sensazioni abbastanza convincenti da essere credibili. «I nostri cervelli sono davvero bravi a prendere un po’ di segnale tattile, un po’ di segnale visivo, un po’ di segnale uditivo, e fonderli tutti insieme per sentire davvero la sensazione ed essere convinti che c’è un oggetto che esiste nel tuo mano»
Un guanto tattile può persino convincere il sistema percettivo di chi lo indossa che sta sentendo il peso di un oggetto, tirando delicatamente la pelle delle dita di chi lo indossa con gli attuatori per imitare la forza di gravità su un oggetto tenuto. Ma tutto deve essere cronometrato esattamente nel modo giusto.
I materiali, scienza di frontiera
Man mano che il programma maturava, il team ha iniziato ad affrontare il comfort dei guanti e la sfida di integrare i sensori e gli attuatori robotici nel materiale del guanto stesso. Era facile capire che un guanto rigido, pesante o comunque scomodo – o uno che si rompeva facilmente – avrebbe immediatamente portato chi lo indossava fuori da qualsiasi esperienza virtuale. Per evitare ciò, il guanto dovrebbe essere leggero, morbido e molto resistente.
Il gruppo dei materiali ha iniziato a inventare nuovi polimeri poco costosi – materiali flessibili come plastica e silicone – che sono comodi ed elastici ma personalizzati a livello molecolare per fornire nuove funzionalità (“tessuti intelligenti”, come sono noti, sono utilizzati anche in alta atletica leggera). Ciò richiedeva tecnologie di produzione completamente nuove per trasformare quei nuovi materiali in fibre davvero fini che potevano poi essere cucite, lavorate a maglia o tessute in guanti.
Costruire un guanto aptico sottile e leggero è una sfida. Personalizzare quei guanti per adattarli a miliardi di persone è un altro problema.
Ecco perché il gruppo dei materiali sta anche esplorando tecniche di produzione che potrebbero consentire a ciascun guanto di essere adattato su misura per la massima precisione tattile e comfort. Ciò significa sviluppare nuovi metodi di progettazione e costruzione di piccoli attuatori e creare nuovi processi di lavorazione a maglia e ricamo per incorporarli con precisione nei guanti.
Al lavoro verso un progetto davvero per tutti
Il team dei materiali di Reality Labs Research sta esplorando nuove tecniche di produzione che un giorno potrebbero consentire di adattare ogni guanto tattile su misura per la massima precisione e comfort tattili. Raggiungere questo richiederà lo sviluppo di nuovi metodi di progettazione e costruzione di piccoli attuatori e la creazione di nuovi processi di lavorazione a maglia e ricamo per incorporarli con precisione nei guanti.
Alcune delle tecnologie necessarie per offrire esperienze tattili credibili nella realtà virtuale e aumentata non esistono ancora, ma RL Research continua a portare avanti lo stato dell’arte, creando nuove scoperte per rendere i guanti tattili una realtà.
Il progetto del guanto tattile di RL è iniziato come un colpo di luna, ma è sempre più fattibile poiché il team innova con successo e compie passi avanti nella ricerca in dozzine di discipline.
Negli ultimi sette anni, Keller e il suo team hanno sfidato l’ignoto, sperimentando nuove tecniche, nuove tecnologie e nuove discipline. E sono solo all’inizio.
