Microsoft Mixed Reality & AI Lab: spatial computing

Le nuove tecnologie stanno facendo passi da gigante: in breve tempo si è verificato uno sviluppo esponenziale nell’ambito dell’innovazione digitale.

Realtà Virtuale, Aumentata ed intelligenza artificiale sono tra quelle in maggiore evoluzione, ma non tutti sanno che tra queste figura anche lo spatial computing.

Che cos’è lo spatial computing?

Il termine spatial computing si riferisce essenzialmente alla capacità di computer, robot e altri dispositivi elettronici di essere “consapevoli” dell’ambiente circostante e riuscendo a crearne rappresentazioni digitali.

Tecnologie all’avanguardia, come la Realtà Mista (MR), possono migliorare significatamene le prestazioni, consentendo la creazione di sofisticati sistemi di rilevamento e mappatura.

L’interazione uomo-robot

Recentemente i ricercatori Microsoft Mixed Reality & AI Lab e dell’ETH di Zurigo hanno sviluppato e testato un nuovo framework che combina MR e robotica per migliorare le applicazioni di spatial computing.

Come riportano i ricercatori:

“La combinazione di spatial computing e rilevamento egocentrico su dispositivi di realtà mista consente loro di catturare e comprendere le azioni umane e di tradurle in azioni con significato spaziale, il che offre nuove entusiasmanti possibilità di collaborazione tra umani e robot”.

“Questo documento presenta diversi sistemi uomo-robot che utilizzano queste capacità per abilitare nuovi casi d’uso come la pianificazione della missione per l’ispezione, il controllo basato sui gesti e teleoperazione immersiva.”

Dove funzionerà il framework

Il framework basato su RM e robotica del team di ricercatori Microsoft Mixed Reality & AI Lab è stato implementato su tre diversi sistemi con funzioni diverse: tutti questi sistemi richiedono l’uso di una cuffia HoloLens MR.

I tre sistemi del calcolo spaziale Microsoft

Sistema numero 1

Il primo sistema è progettato per pianificare missioni robotiche che comportano l’ispezione di un determinato ambiente.

In sostanza, un utente umano si muove nell’ambiente che desidera ispezionare indossando un visore HoloLens, posizionando ologrammi a forma di waypoint che definiscono la traiettoria di un robot.

Inoltre, sarà possibile per l’utente evidenziare aree specifiche destinate alla raccolta di immagini o dati.

Successivamente le informazioni estrapolate verranno elaborate e tradotte, in modo che possano essere utilizzate per guidare i movimenti e le azioni di un robot mentre ispeziona l’ambiente.

Sistema numero 2

Il secondo sistema proposto dai ricercatori è un’interfaccia che consente agli utenti umani di interagire con il robot in modo più efficace, ad esempio controllandone i movimenti attraverso dei semplici gesti delle mani.

In questo caso è prevista la colocalizzazione di diversi dispositivi- ovvero la loro sovrapposizione – incluse cuffie mixed reality e smartphone.

“La colocalizzazione dei dispositivi richiede che ciascuno di essi sia in grado di localizzarsi in un sistema di coordinate di riferimento comune”, hanno scritto i ricercatori.

“Attraverso le loro pose individuali rispetto a questa cornice di coordinate comune, è possibile calcolare la trasformazione relativa tra dispositivi localizzati e successivamente utilizzarla per abilitare nuovi comportamenti e collaborazione tra dispositivi”.

Per colocalizzare i dispositivi, il team ha introdotto un framework che garantisce che tutti i dispositivi nei loro sistemi condividano le rispettive posizioni l’uno rispetto all’altro e una mappa di riferimento comune.

Sistema numero 3

Infine, il terzo sistema consente la teleoperazione immersiva, il che significa che un utente può controllare a distanza un robot mentre osserva l’ambiente circostante.

Questo sistema potrebbe essere particolarmente prezioso nei casi in cui sarà necessario un robot per navigare in un ambiente inaccessibile all’uomo.

“Esploriamo la proiezione delle azioni di un utente su un robot remoto e il senso dello spazio del robot sull’utente”, hanno spiegato i ricercatori.

“Consideriamo diversi livelli di immersione, basati sul toccare e manipolare le funzioni del robot fino a controllarlo ad un livello di immersione superiore che consente di diventare il robot e mappare il movimento dell’utente direttamente sul robot”.

Nei test iniziali, tutti e tre i sistemi hanno ottenuto risultati molto promettenti.

In futuro, potrebbero essere introdotti in molti contesti diversi: portando una collaborazione uomo-robot all’unisono per risolvere in modo efficiente una gamma più ampia di complessi problemi del mondo reale.