Robot humanoïde Nina

Grenoble Images Parole Signal Automatique (GIPSA-lab)

ST MARTIN D HERES CEDEX

GIPSA-lab develops theoretical and applied researches on control, signal and images processing, speech, cognition, robotics and artifical intelligence. Multidisciplinary and at the interface between the human, physical and digital worlds, its work is based on mathematical and computational theories for the development of models and algorithms, validated by hardware and software implementations.

20170135_0003
Open media modal

Installation d'un casque muni d'électrodes utilisé au sein de l’interface cerveau-machine Brain Invaders. Le joueur pilote le programme par "butinage attentionnel", sans manette, par la pensée. Doté d'un casque dont les électrodes sont principalement situées au niveau du cortex visuel et central pariétal, il doit se concentrer sur l’objet qui émet des flashs lumineux afin de l'éliminer. Le signal cérébral correspondant à la perception du flash (stimuli) généré dans le jeu est une onde…

Photo
20170135_0003
Installation d'un casque muni d'électrodes
20170135_0015
Open media modal

Plateforme biomécanique de stimulation visuelle virtuelle de traitement des troubles de l'équilibre. Le patient est placé face à un écran translucide plein champ sur lequel sont projetés des flux visuels composés de cercles changeant de taille et de direction. Ces stimuli visuels dynamiques en 2D et en 3D confèrent l'illusion du mouvement. Le contrôle de l’équilibre est permis par l’interaction de trois modalités sensorielles : la vision, l’équilibration, et la proprioception. Chez les…

Photo
20170135_0015
Plateforme de stimulation visuelle virtuelle de traitement des troubles de l'équilibre
20170135_0033
Open media modal

Soudure de composants électroniques CMS à l'aide d'une loupe binoculaire, au sein du pôle mécatronique du Gipsa-lab. Ce dernier assure la conception, la réalisation et la maintenance des plateformes expérimentales du laboratoire, ainsi que de certaines plateformes d’enseignement recherche de l’ENSE3-Grenoble-INP. Il est composé de personnes présentant des compétences en mécanique, électronique, électrotechnique, prototypage rapide et instrumentation. Ce pôle assure enfin une mission de support…

Photo
20170135_0033
Soudure de composants électroniques CMS à l'aide d'une loupe binoculaire
20170135_0008
Open media modal

Démonstrateur d’interface cerveau-machine Brain Invaders. Inspiré du jeu vidéo Space Invaders, ce programme est piloté exclusivement par "butinage attentionnel" soit par la pensée, sans manette. Doté d'un casque dont les électrodes sont principalement situées au niveau du cortex visuel et central pariétal, le joueur doit se concentrer sur l’objet qui émet des flashs lumineux afin de l'éliminer. Le signal cérébral correspondant à la perception du flash (stimuli) généré dans le jeu est une onde…

Photo
20170135_0008
Démonstrateur d’interface cerveau-machine Brain Invaders
20170135_0044
Open media modal

Vision en stéréo à travers les yeux du robot humanoïde Nina. Un chercheur, placé dans une autre pièce, voit en effet à travers les yeux du robot via un casque de réalité virtuelle. Il entend aussi à travers les oreilles de Nina. De son côté, il est équipé de divers capteurs de mouvements et d'un microphone, lui permettant de piloter à distance le robot, qui reproduira en temps réel les actions et les mots prononcés par le chercheur. En plus de sa possible utilisation en télé-présence immersive…

Photo
20170135_0044
Vision en stéréo à travers les yeux du robot humanoïde Nina
20170135_0027
Open media modal

Opération de fraisage sur un lopin d'aluminium, avec une fraiseuse traditionnelle Ernault Somua Z1C 3 axes dotée d'un afficheur numérique des cotes, au sein du pôle mécatronique du Gipsa-lab. Ce dernier assure la conception, la réalisation et la maintenance des plateformes expérimentales du laboratoire, ainsi que de certaines plateformes d’enseignement recherche de l’ENSE3-Grenoble-INP. Il est composé de personnes présentant des compétences en mécanique, électronique, électrotechnique,…

Photo
20170135_0027
Opération de fraisage sur un lopin d'aluminium au sein du pôle mécatronique du Gipsa-lab
20170135_0018
Open media modal

Drones pilotés en immersion par des expérimentateurs dotés de lunettes vidéo. Grâce aux caméras placées sur ces drones, les expérimentateurs visualisent l'équivalent du poste de pilotage. Ils dirigent le drone via une manette et de manière intuitive grâce à un algorithme permettant de simplifier les commandes. Cet algorithme corrige également la trajectoire pour éviter les collisions et maintenir le drone dans l’espace autorisé.

Photo
20170135_0018
Drones pilotés en immersion
20170135_0038
Open media modal

Chercheur doté d'un casque de réalité virtuelle et de capteurs de mouvements labiaux face à un microphone ainsi que des capteurs de mouvements du regard et de la tête. Il commande à distance les actions du robot Nina, placé dans une autre pièce. Le chercheur voit en stéréo à travers les yeux du robot, équipés de caméras et entend en stéréo grâce aux microphones dans les oreilles de Nina. Le petit robot reproduit ainsi en temps réel tous les mouvements de tête, de regard ainsi que les phrases…

Photo
20170135_0038
Chercheur doté d'un casque de réalité virtuelle et de capteurs de mouvements labiaux
20170135_0048
Open media modal

Interactions du robot Nina avec un chercheur, autour d'un jeu de cubes. Dans cette expérience, le robot humanoïde donne des consignes à son partenaire humain, en regardant et en pointant les cubes, tout en se synchronisant avec la parole et les actions de la personne. Nina agit de manière autonome et naturelle suite à une phase de pilotage, répétée un grand nombre de fois. Un chercheur muni de capteurs l'a dirigée pour qu'elle enregistre les mouvements subtils de l’interaction face-à-face …

Photo
20170135_0048
Interactions du robot Nina avec un chercheur, autour d'un jeu de cubes
20170135_0050
Open media modal

Analyse des interactions du robot Nina et d'un chercheur face à un jeu de cubes. Dans cette expérience, le robot humanoïde donne des consignes à son partenaire humain, en regardant et en pointant les cubes, tout en se synchronisant avec la parole et les actions de la personne. Nina agit de manière autonome et naturelle suite à une phase de pilotage, répétée un grand nombre de fois. Un chercheur muni de capteurs l'a dirigée pour qu'elle enregistre les mouvements subtils de l’interaction face-à…

Photo
20170135_0050
Analyse des interactions du robot Nina et d'un chercheur face à un jeu de cubes
20170135_0004
Open media modal

Ondes encéphalographiques captées via des électrodes placées sur le crâne de l'expérimentateur. Ces mesures sont effectuées dans le cadre du développement de l'interface cerveau-machine Brain Invaders. Le joueur pilote le programme par "butinage attentionnel", sans manette, par la pensée. Doté d'un casque dont les électrodes sont principalement situées au niveau du cortex visuel et central pariétal, il doit se concentrer sur l’objet qui émet des flashs lumineux afin de l'éliminer. Le signal…

Photo
20170135_0004
Ondes encéphalographiques captées via des électrodes placées sur le crâne de l'expérimentateur
20170135_0040
Open media modal

Robot Humanoïde Nina, piloté par un chercheur depuis une autre salle. Ce dernier est équipé d'un casque de réalité virtuelle, de capteurs autour de la bouche mais aussi de capteurs du regard et des mouvements de tête. Il parle face à un microphone et des caméras dédiées à la capture de mouvement. Le chercheur voit en stéréo à travers les yeux du robot, équipés de caméras et entend en stéréo grâce aux microphones dans les oreilles de Nina. Le petit robot reproduit ainsi en temps réel tous les…

Photo
20170135_0040
Robot Humanoïde Nina, piloté par un chercheur depuis une autre salle
20170135_0023
Open media modal

Drones fonctionnant en pilotage immersif, équipés de caméras à transmission vidéo reliées à des lunettes immersives portées par des expérimentateurs ou à un écran de contrôle. Les caméras sont placées de façon à filmer l'équivalent du poste de pilotage. Les drones sont pilotés via une manette et de manière intuitive grâce à un algorithme permettant de simplifier les commandes. Cet algorithme corrige également la trajectoire pour éviter les collisions et maintenir le drone dans l’espace…

Photo
20170135_0023
Drones fonctionnant en pilotage immersif
20170135_0016
Open media modal

Traitement des troubles de l'équilibre sur une plateforme biomécanique de stimulation visuelle virtuelle. Le patient est placé face à un écran translucide plein champ sur lequel sont projetés des flux visuels composés de cercles changeant de taille et de direction. Ces stimuli visuels dynamiques en 2D et en 3D confèrent l'illusion du mouvement. Le contrôle de l’équilibre est permis par l’interaction de trois modalités sensorielles : la vision, l’équilibration, et la proprioception. Chez les…

Photo
20170135_0016
Traitement des troubles de l'équilibre sur une plateforme de stimulation visuelle
20170135_0034
Open media modal

Pose de capteurs de mouvements labiaux autour de la bouche d'un chercheur. Ces capteurs, associés à un casque de réalité virtuelle doté de capteurs du regard et de mouvements de la tête, à un microphone, mais aussi à des caméras dédiées à la capture de mouvement vont permettre au robot Nina de reproduire en temps réel tous les gestes, expressions faciales et mots prononcés par le chercheur. Ce dernier voit en stéréo à travers les yeux du robot, équipés de caméras et entend en stéréo grâce aux…

Photo
20170135_0034
Pose de capteurs de mouvements labiaux autour de la bouche d'un chercheur
20170135_0009
Open media modal

Démonstrateur d’interface cerveau-machine Brain Invaders. Inspiré du jeu vidéo Space Invaders, ce programme est piloté exclusivement par "butinage attentionnel" soit par la pensée, sans manette. Doté d'un casque dont les électrodes sont principalement situées au niveau du cortex visuel et central pariétal, le joueur doit se concentrer sur l’objet qui émet des flashs lumineux afin de l'éliminer. Le signal cérébral correspondant à la perception du flash (stimuli) généré dans le jeu est une onde…

Photo
20170135_0009
Démonstrateur d’interface cerveau-machine Brain Invaders
20170135_0045
Open media modal

Interactions du robot Nina avec un chercheur, autour d'un jeu de cubes. Dans cette expérience, le robot humanoïde donne des consignes à son partenaire humain, en regardant et en pointant les cubes, tout en se synchronisant avec la parole et les actions de la personne. Nina agit de manière autonome et naturelle suite à une phase de pilotage, répétée un grand nombre de fois. Un chercheur muni de capteurs l'a dirigée pour qu'elle enregistre les mouvements subtils de l’interaction face-à-face …

Photo
20170135_0045
Interactions du robot Nina avec un chercheur, autour d'un jeu de cubes
20170135_0028
Open media modal

Opération de fraisage sur un lopin d'aluminium, avec une fraiseuse traditionnelle Ernault Somua Z1C 3 axes dotée d'un afficheur numérique des cotes, au sein du pôle mécatronique du Gipsa-lab. Ce dernier assure la conception, la réalisation et la maintenance des plateformes expérimentales du laboratoire, ainsi que de certaines plateformes d’enseignement recherche de l’ENSE3-Grenoble-INP. Il est composé de personnes présentant des compétences en mécanique, électronique, électrotechnique,…

Photo
20170135_0028
Opération de fraisage sur un lopin d'aluminium au sein du pôle mécatronique du Gipsa-lab
20170135_0019
Open media modal

Drones pilotés en immersion par des expérimentateurs dotés de lunettes vidéo. Grâce aux caméras placées sur ces drones, les expérimentateurs visualisent l'équivalent du poste de pilotage. Ils dirigent le drone via une manette et de manière intuitive grâce à un algorithme permettant de simplifier les commandes. Cet algorithme corrige également la trajectoire pour éviter les collisions et maintenir le drone dans l’espace autorisé.

Photo
20170135_0019
Drones pilotés en immersion
20170135_0012
Open media modal

Traitement des troubles de l'équilibre sur une plateforme biomécanique de stimulation visuelle virtuelle. Le patient est placé face à un écran translucide plein champ sur lequel sont projetés des flux visuels composés de cercles changeant de taille et de direction. Ces stimuli visuels dynamiques en 2D et en 3D confèrent l'illusion du mouvement. Le contrôle de l’équilibre est permis par l’interaction de trois modalités sensorielles : la vision, l’équilibration, et la proprioception. Chez les…

Photo
20170135_0012
Traitement des troubles de l'équilibre sur une plateforme de stimulation visuelle
20170135_0051
Open media modal

Interactions du robot Nina avec un chercheur, autour d'un jeu de cubes. Dans cette expérience, le robot humanoïde donne des consignes à son partenaire humain, en regardant et en pointant les cubes, tout en se synchronisant avec la parole et les actions de la personne. Nina agit de manière autonome et naturelle suite à une phase de pilotage, répétée un grand nombre de fois. Un chercheur muni de capteurs l'a dirigée pour qu'elle enregistre les mouvements subtils de l’interaction face-à-face …

Photo
20170135_0051
Interactions du robot Nina avec un chercheur, autour d'un jeu de cubes
20170135_0005
Open media modal

Démonstrateur d’interface cerveau-machine Brain Invaders. Inspiré du jeu vidéo Space Invaders, ce programme est piloté exclusivement par "butinage attentionnel" soit par la pensée, sans manette. Doté d'un casque dont les électrodes sont principalement situées au niveau du cortex visuel et central pariétal, le joueur doit se concentrer sur l’objet qui émet des flashs lumineux afin de l'éliminer. Le signal cérébral correspondant à la perception du flash (stimuli) généré dans le jeu est une onde…

Photo
20170135_0005
Démonstrateur d’interface cerveau-machine Brain Invaders
20170135_0041
Open media modal

Robot Humanoïde Nina, piloté par un chercheur depuis une autre salle. Ce dernier est équipé d'un casque de réalité virtuelle, de capteurs autour de la bouche mais aussi de capteurs du regard et des mouvements de tête. Il parle face à un microphone et des caméras dédiées à la capture de mouvement. Le chercheur voit en stéréo à travers les yeux du robot, équipés de caméras et entend en stéréo grâce aux microphones dans les oreilles de Nina. Le petit robot reproduit ainsi en temps réel tous les…

Photo
20170135_0041
Robot Humanoïde Nina, piloté par un chercheur depuis une autre salle
20170135_0024
Open media modal

Réglage de drones fonctionnant en pilotage immersif, équipés de caméras à transmission vidéo reliées à des lunettes immersives portées par des expérimentateurs ou à un écran de contrôle. Les caméras sont placées de façon à filmer l'équivalent du poste de pilotage. Les drones sont pilotés via une manette et de manière intuitive grâce à un algorithme permettant de simplifier les commandes. Cet algorithme corrige également la trajectoire pour éviter les collisions et maintenir le drone dans l…

Photo
20170135_0024
Réglage de drones fonctionnant en pilotage immersif
20170135_0035
Open media modal

Capteurs de mouvements labiaux autour de la bouche d'un chercheur. Ces capteurs, associés à un casque de réalité virtuelle doté de capteurs du regard et de mouvements de la tête, à un microphone, mais aussi à des caméras dédiées à la capture de mouvement vont permettre au robot Nina de reproduire en temps réel tous les gestes, expressions faciales et mots prononcés par le chercheur. Ce dernier voit en stéréo à travers les yeux du robot, équipés de caméras et entend en stéréo grâce aux…

Photo
20170135_0035
Capteurs de mouvements labiaux autour de la bouche d'un chercheur
20170135_0010
Open media modal

Démonstrateur d’interface cerveau-machine Brain Invaders. Inspiré du jeu vidéo Space Invaders, ce programme est piloté exclusivement par "butinage attentionnel" soit par la pensée, sans manette. Doté d'un casque dont les électrodes sont principalement situées au niveau du cortex visuel et central pariétal, le joueur doit se concentrer sur l’objet qui émet des flashs lumineux afin de l'éliminer. Le signal cérébral correspondant à la perception du flash (stimuli) généré dans le jeu est une onde…

Photo
20170135_0010
Démonstrateur d’interface cerveau-machine Brain Invaders
20170135_0046
Open media modal

Interactions du robot Nina avec un chercheur, autour d'un jeu de cubes. Dans cette expérience, le robot humanoïde donne des consignes à son partenaire humain, en regardant et en pointant les cubes, tout en se synchronisant avec la parole et les actions de la personne. Nina agit de manière autonome et naturelle suite à une phase de pilotage, répétée un grand nombre de fois. Un chercheur muni de capteurs l'a dirigée pour qu'elle enregistre les mouvements subtils de l’interaction face-à-face …

Photo
20170135_0046
Interactions du robot Nina avec un chercheur, autour d'un jeu de cubes
20170135_0029
Open media modal

Fraiseuse traditionnelle Ernault Somua Z1C 3 axes dotée d'un afficheur numérique des cotes, au sein du pôle mécatronique du Gipsa-lab. Ce dernier assure la conception, la réalisation et la maintenance des plateformes expérimentales du laboratoire, ainsi que de certaines plateformes d’enseignement recherche de l’ENSE3-Grenoble-INP. Il est composé de personnes présentant des compétences en mécanique, électronique, électrotechnique, prototypage rapide et instrumentation. Ce pôle assure enfin une…

Photo
20170135_0029
Fraiseuse traditionnelle au sein du pôle mécatronique du Gipsa-lab
20170135_0020
Open media modal

Drones fonctionnant en pilotage immersif équipés de caméras à transmission vidéo reliée à des lunettes immersives portées par des expérimentateurs ou à un écran de contrôle. Les caméras sont placées de telle manière à filmer l'équivalent du poste de pilotage. Les drones sont pilotés via une manette et de manière intuitive grâce à un algorithme permettant de simplifier les commandes. Cet algorithme corrige également la trajectoire pour éviter les collisions et maintenir le drone dans l’espace…

Photo
20170135_0020
Drones fonctionnant en pilotage immersif
20170135_0001
Open media modal

Installation d'un casque muni d'électrodes utilisé au sein de l’interface cerveau-machine Brain Invaders. Le joueur pilote le programme par "butinage attentionnel", sans manette, par la pensée. Doté d'un casque dont les électrodes sont principalement situées au niveau du cortex visuel et central pariétal, il doit se concentrer sur l’objet qui émet des flashs lumineux afin de l'éliminer. Le signal cérébral correspondant à la perception du flash (stimuli) généré dans le jeu est une onde…

Photo
20170135_0001
Installation d'un casque muni d'électrodes
20170135_0013
Open media modal

Traitement des troubles de l'équilibre sur une plateforme biomécanique de stimulation visuelle virtuelle. Le patient est placé face à un écran translucide plein champ sur lequel sont projetés des flux visuels composés de cercles changeant de taille et de direction. Ces stimuli visuels dynamiques en 2D et en 3D confèrent l'illusion du mouvement. Le contrôle de l’équilibre est permis par l’interaction de trois modalités sensorielles : la vision, l’équilibration, et la proprioception. Chez les…

Photo
20170135_0013
Traitement des troubles de l'équilibre sur une plateforme de stimulation visuelle
20170135_0052
Open media modal

Robot Humanoïde Nina capable d'interagir manière naturelle et socialement acceptable. Le robot est tout d'abord piloté à distance par un chercheur, qui, muni de divers capteurs et d'un microphone lui dicte le comportement à adopter et les phrases à prononcer, jusqu'à l'articulation des mots. Le petit robot de 1,02 mètres reproduit ainsi en temps réel l'ensemble des actions de la personne le contrôlant. En plus de sa possible utilisation en télé-présence immersive, cette phase de pilotage,…

Photo
20170135_0052
Robot Humanoïde Nina
20170135_0006
Open media modal

Démonstrateur d’interface cerveau-machine Brain Invaders. Inspiré du jeu vidéo Space Invaders, ce programme est piloté exclusivement par "butinage attentionnel" soit par la pensée, sans manette. Doté d'un casque dont les électrodes sont principalement situées au niveau du cortex visuel et central pariétal, le joueur doit se concentrer sur l’objet qui émet des flashs lumineux afin de l'éliminer. Le signal cérébral correspondant à la perception du flash (stimuli) généré dans le jeu est une onde…

Photo
20170135_0006
Démonstrateur d’interface cerveau-machine Brain Invaders
20170135_0042
Open media modal

Robot Humanoïde Nina, piloté par un chercheur depuis une autre salle. Ce dernier est équipé d'un casque de réalité virtuelle, de capteurs autour de la bouche mais aussi de capteurs du regard et des mouvements de tête. Il parle face à un microphone et des caméras dédiées à la capture de mouvement. Le chercheur voit en stéréo à travers les yeux du robot, équipés de caméras et entend en stéréo grâce aux microphones dans les oreilles de Nina. Le petit robot reproduit ainsi en temps réel tous les…

Photo
20170135_0042
Robot Humanoïde Nina, piloté par un chercheur depuis une autre salle
20170135_0025
Open media modal

Drones fonctionnant en pilotage immersif, équipés de caméras à transmission vidéo reliées à des lunettes immersives portées par des expérimentateurs ou à un écran de contrôle. Les caméras sont placées de façon à filmer l'équivalent du poste de pilotage. Les drones sont pilotés via une manette et de manière intuitive grâce à un algorithme permettant de simplifier les commandes. Cet algorithme corrige également la trajectoire pour éviter les collisions et maintenir le drone dans l’espace…

Photo
20170135_0025
Drone fonctionnant en pilotage immersif
20170135_0036
Open media modal

Installation d'un casque de réalité virtuelle qui permettra au chercheur de voir à travers les yeux du robot Nina, placé dans une autre pièce. Ce casque, également muni de capteurs de mouvements du regard et de la tête est associé à des capteurs sur la bouche, à un microphone mais aussi à des caméras dédiées à la capture de mouvement. Ils vont permettre au robot Nina de reproduire en temps réel tous les gestes, expressions faciales et mots prononcés par le chercheur. Ce dernier voit en stéréo à…

Photo
20170135_0036
Installation d'un casque de réalité virtuelle
20170135_0011
Open media modal

Ondes encéphalographiques captées via des électrodes placées sur le crâne de l'expérimentateur. Ces mesures sont effectuées dans le cadre du développement de l'interface cerveau-machine Brain Invaders. Le joueur pilote le programme par "butinage attentionnel", sans manette, par la pensée. Doté d'un casque dont les électrodes sont principalement situées au niveau du cortex visuel et central pariétal, il doit se concentrer sur l’objet qui émet des flashs lumineux afin de l'éliminer. Le signal…

Photo
20170135_0011
Ondes encéphalographiques captées via des électrodes
20170135_0047
Open media modal

Interactions du robot Nina avec un chercheur, autour d'un jeu de cubes. Dans cette expérience, le robot humanoïde donne des consignes à son partenaire humain, en regardant et en pointant les cubes, tout en se synchronisant avec la parole et les actions de la personne. Nina agit de manière autonome et naturelle suite à une phase de pilotage, répétée un grand nombre de fois. Un chercheur muni de capteurs l'a dirigée pour qu'elle enregistre les mouvements subtils de l’interaction face-à-face …

Photo
20170135_0047
Interactions du robot Nina avec un chercheur, autour d'un jeu de cubes

CNRS Images,

Our work is guided by the way scientists question the world around them and we translate their research into images to help people to understand the world better and to awaken their curiosity and wonderment.