Vision en stéréo à travers les yeux du robot humanoïde Nina

Vision en stéréo à travers les yeux du robot humanoïde Nina. Un chercheur, placé dans une autre pièce, voit en effet à travers les yeux du robot via un casque de réalité virtuelle. Il entend aussi à travers les oreilles de Nina. De son côté, il est équipé de divers capteurs de mouvements et d'un microphone, lui permettant de piloter à distance le robot, qui reproduira en temps réel les actions et les mots prononcés par le chercheur.
En plus de sa possible utilisation en télé-présence immersive, cette phase de pilotage, répétée un grand nombre de fois, permet au robot d'enregistrer les mouvements subtils de l’interaction face-à-face (contact visuel, synchronisation regard/parole, points d’intérêt, tours de parole, lecture labiale…) en vue de les imiter de manière autonome par la suite. Cet apprentissage s'effectue via des algorithmes de deap learning. Nina pourra ensuite interagir de manière naturelle et socialement acceptable. Ceci lui permettra par exemple de participer à des campagnes de dépistage de problèmes de mémoire (maladie d'Alzheimer, début de démence…) en faisant passer des tests de mémoire.