Robot humanoïde Nina

Grenoble Images Parole Signal Automatique (GIPSA-lab)

ST MARTIN D HERES CEDEX

GIPSA-lab mène des recherches théoriques et appliquées sur l’automatique, le signal, les images, la parole, la cognition, la robotique et l’apprentissage. Pluridisciplinaire et à l’interface entre l’humain, les mondes physiques et numériques, ses travaux s'appuient sur des théories mathématiques et informatiques pour le développement de modèles et d'algorithmes, validés par des implémentations matérielles et logicielles.

20170135_0032
Open media modal

Soudure de composants électroniques CMS à l'aide d'une loupe binoculaire, au sein du pôle mécatronique du Gipsa-lab. Ce dernier assure la conception, la réalisation et la maintenance des plateformes expérimentales du laboratoire, ainsi que de certaines plateformes d’enseignement recherche de l’ENSE3-Grenoble-INP. Il est composé de personnes présentant des compétences en mécanique, électronique, électrotechnique, prototypage rapide et instrumentation. Ce pôle assure enfin une mission de support…

Photo
20170135_0032
Soudure de composants électroniques CMS à l'aide d'une loupe binoculaire
20170135_0007
Open media modal

Démonstrateur d’interface cerveau-machine Brain Invaders. Inspiré du jeu vidéo Space Invaders, ce programme est piloté exclusivement par "butinage attentionnel" soit par la pensée, sans manette. Doté d'un casque dont les électrodes sont principalement situées au niveau du cortex visuel et central pariétal, le joueur doit se concentrer sur l’objet qui émet des flashs lumineux afin de l'éliminer. Le signal cérébral correspondant à la perception du flash (stimuli) généré dans le jeu est une onde…

Photo
20170135_0007
Démonstrateur d’interface cerveau-machine Brain Invaders
20170135_0043
Open media modal

Robot Humanoïde Nina capable d'interagir manière naturelle et socialement acceptable. Le robot est tout d'abord piloté à distance par un chercheur, qui, muni de divers capteurs et d'un microphone lui dicte le comportement à adopter et les phrases à prononcer, jusqu'à l'articulation des mots. Le petit robot de 1,02 mètres reproduit ainsi en temps réel l'ensemble des actions de la personne le contrôlant. En plus de sa possible utilisation en télé-présence immersive, cette phase de pilotage,…

Photo
20170135_0043
Robot Humanoïde Nina
20170135_0026
Open media modal

Drones fonctionnant en pilotage immersif, équipés de caméras à transmission vidéo reliées à des lunettes immersives portées par des expérimentateurs ou à un écran de contrôle. Les caméras sont placées de façon à filmer l'équivalent du poste de pilotage. Les drones sont pilotés via une manette et de manière intuitive grâce à un algorithme permettant de simplifier les commandes. Cet algorithme corrige également la trajectoire pour éviter les collisions et maintenir le drone dans l’espace…

Photo
20170135_0026
Drone fonctionnant en pilotage immersif
20170135_0017
Open media modal

Drones pilotés en immersion par des expérimentateurs dotés de lunettes vidéo. Grâce aux caméras placées sur ces drones, les expérimentateurs visualisent l'équivalent du poste de pilotage. Ils dirigent le drone via une manette et de manière intuitive grâce à un algorithme permettant de simplifier les commandes. Cet algorithme corrige également la trajectoire pour éviter les collisions et maintenir le drone dans l’espace autorisé.

Photo
20170135_0017
Drones pilotés en immersion
20170135_0037
Open media modal

Commande à distance du robot Nina. Le chercheur est doté d'un casque de réalité virtuelle muni de capteurs de mouvements du regard et de la tête. Ce casque est associé à des capteurs de mouvements labiaux et à un dispositif composé d'un microphone et de caméras dédiées à la capture de mouvement, au premier plan de l'image. Le chercheur commande ainsi à distance les actions du robot Nina, placé dans une autre pièce. Il voit en stéréo à travers les yeux du robot, équipés de caméras et entend en…

Photo
20170135_0037
Commande à distance du robot Nina
20170135_0031
Open media modal

Soudure de composants électroniques CMS à l'aide d'une loupe binoculaire, au sein du pôle mécatronique du Gipsa-lab. Ce dernier assure la conception, la réalisation et la maintenance des plateformes expérimentales du laboratoire, ainsi que de certaines plateformes d’enseignement recherche de l’ENSE3-Grenoble-INP. Il est composé de personnes présentant des compétences en mécanique, électronique, électrotechnique, prototypage rapide et instrumentation. Ce pôle assure enfin une mission de support…

Photo
20170135_0031
Soudure de composants électroniques CMS à l'aide d'une loupe binoculaire
20170135_0049
Open media modal

Robot Humanoïde Nina capable d'interagir manière naturelle et socialement acceptable. Le robot est tout d'abord piloté à distance par un chercheur, qui, muni de divers capteurs et d'un microphone lui dicte le comportement à adopter et les phrases à prononcer, jusqu'à l'articulation des mots. Le petit robot de 1,02 mètres reproduit ainsi en temps réel l'ensemble des actions de la personne le contrôlant. En plus de sa possible utilisation en télé-présence immersive, cette phase de pilotage,…

Photo
20170135_0049
Robot Humanoïde Nina
20170135_0039
Open media modal

Robot Humanoïde Nina, piloté par un chercheur depuis une autre salle. Ce dernier est équipé d'un casque de réalité virtuelle, de capteurs autour de la bouche mais aussi de capteurs du regard et des mouvements de tête. Il parle face à un microphone et des caméras dédiées à la capture de mouvement. Le chercheur voit en stéréo à travers les yeux du robot, équipés de caméras et entend en stéréo grâce aux microphones dans les oreilles de Nina. Le petit robot reproduit ainsi en temps réel tous les…

Photo
20170135_0039
Robot Humanoïde Nina, piloté par un chercheur depuis une autre salle
20170135_0022
Open media modal

Drones fonctionnant en pilotage immersif, équipés de caméras à transmission vidéo reliées à des lunettes immersives portées par des expérimentateurs ou à un écran de contrôle. Les caméras sont placées de façon à filmer l'équivalent du poste de pilotage. Les drones sont pilotés via une manette et de manière intuitive grâce à un algorithme permettant de simplifier les commandes. Cet algorithme corrige également la trajectoire pour éviter les collisions et maintenir le drone dans l’espace…

Photo
20170135_0022
Drones fonctionnant en pilotage immersif
20170135_0003
Open media modal

Installation d'un casque muni d'électrodes utilisé au sein de l’interface cerveau-machine Brain Invaders. Le joueur pilote le programme par "butinage attentionnel", sans manette, par la pensée. Doté d'un casque dont les électrodes sont principalement situées au niveau du cortex visuel et central pariétal, il doit se concentrer sur l’objet qui émet des flashs lumineux afin de l'éliminer. Le signal cérébral correspondant à la perception du flash (stimuli) généré dans le jeu est une onde…

Photo
20170135_0003
Installation d'un casque muni d'électrodes
20170135_0015
Open media modal

Plateforme biomécanique de stimulation visuelle virtuelle de traitement des troubles de l'équilibre. Le patient est placé face à un écran translucide plein champ sur lequel sont projetés des flux visuels composés de cercles changeant de taille et de direction. Ces stimuli visuels dynamiques en 2D et en 3D confèrent l'illusion du mouvement. Le contrôle de l’équilibre est permis par l’interaction de trois modalités sensorielles : la vision, l’équilibration, et la proprioception. Chez les…

Photo
20170135_0015
Plateforme de stimulation visuelle virtuelle de traitement des troubles de l'équilibre
20170135_0033
Open media modal

Soudure de composants électroniques CMS à l'aide d'une loupe binoculaire, au sein du pôle mécatronique du Gipsa-lab. Ce dernier assure la conception, la réalisation et la maintenance des plateformes expérimentales du laboratoire, ainsi que de certaines plateformes d’enseignement recherche de l’ENSE3-Grenoble-INP. Il est composé de personnes présentant des compétences en mécanique, électronique, électrotechnique, prototypage rapide et instrumentation. Ce pôle assure enfin une mission de support…

Photo
20170135_0033
Soudure de composants électroniques CMS à l'aide d'une loupe binoculaire
20170135_0008
Open media modal

Démonstrateur d’interface cerveau-machine Brain Invaders. Inspiré du jeu vidéo Space Invaders, ce programme est piloté exclusivement par "butinage attentionnel" soit par la pensée, sans manette. Doté d'un casque dont les électrodes sont principalement situées au niveau du cortex visuel et central pariétal, le joueur doit se concentrer sur l’objet qui émet des flashs lumineux afin de l'éliminer. Le signal cérébral correspondant à la perception du flash (stimuli) généré dans le jeu est une onde…

Photo
20170135_0008
Démonstrateur d’interface cerveau-machine Brain Invaders
20170135_0044
Open media modal

Vision en stéréo à travers les yeux du robot humanoïde Nina. Un chercheur, placé dans une autre pièce, voit en effet à travers les yeux du robot via un casque de réalité virtuelle. Il entend aussi à travers les oreilles de Nina. De son côté, il est équipé de divers capteurs de mouvements et d'un microphone, lui permettant de piloter à distance le robot, qui reproduira en temps réel les actions et les mots prononcés par le chercheur. En plus de sa possible utilisation en télé-présence immersive…

Photo
20170135_0044
Vision en stéréo à travers les yeux du robot humanoïde Nina
20170135_0027
Open media modal

Opération de fraisage sur un lopin d'aluminium, avec une fraiseuse traditionnelle Ernault Somua Z1C 3 axes dotée d'un afficheur numérique des cotes, au sein du pôle mécatronique du Gipsa-lab. Ce dernier assure la conception, la réalisation et la maintenance des plateformes expérimentales du laboratoire, ainsi que de certaines plateformes d’enseignement recherche de l’ENSE3-Grenoble-INP. Il est composé de personnes présentant des compétences en mécanique, électronique, électrotechnique,…

Photo
20170135_0027
Opération de fraisage sur un lopin d'aluminium au sein du pôle mécatronique du Gipsa-lab
20170135_0018
Open media modal

Drones pilotés en immersion par des expérimentateurs dotés de lunettes vidéo. Grâce aux caméras placées sur ces drones, les expérimentateurs visualisent l'équivalent du poste de pilotage. Ils dirigent le drone via une manette et de manière intuitive grâce à un algorithme permettant de simplifier les commandes. Cet algorithme corrige également la trajectoire pour éviter les collisions et maintenir le drone dans l’espace autorisé.

Photo
20170135_0018
Drones pilotés en immersion
20170135_0038
Open media modal

Chercheur doté d'un casque de réalité virtuelle et de capteurs de mouvements labiaux face à un microphone ainsi que des capteurs de mouvements du regard et de la tête. Il commande à distance les actions du robot Nina, placé dans une autre pièce. Le chercheur voit en stéréo à travers les yeux du robot, équipés de caméras et entend en stéréo grâce aux microphones dans les oreilles de Nina. Le petit robot reproduit ainsi en temps réel tous les mouvements de tête, de regard ainsi que les phrases…

Photo
20170135_0038
Chercheur doté d'un casque de réalité virtuelle et de capteurs de mouvements labiaux
20170135_0048
Open media modal

Interactions du robot Nina avec un chercheur, autour d'un jeu de cubes. Dans cette expérience, le robot humanoïde donne des consignes à son partenaire humain, en regardant et en pointant les cubes, tout en se synchronisant avec la parole et les actions de la personne. Nina agit de manière autonome et naturelle suite à une phase de pilotage, répétée un grand nombre de fois. Un chercheur muni de capteurs l'a dirigée pour qu'elle enregistre les mouvements subtils de l’interaction face-à-face …

Photo
20170135_0048
Interactions du robot Nina avec un chercheur, autour d'un jeu de cubes
20170135_0050
Open media modal

Analyse des interactions du robot Nina et d'un chercheur face à un jeu de cubes. Dans cette expérience, le robot humanoïde donne des consignes à son partenaire humain, en regardant et en pointant les cubes, tout en se synchronisant avec la parole et les actions de la personne. Nina agit de manière autonome et naturelle suite à une phase de pilotage, répétée un grand nombre de fois. Un chercheur muni de capteurs l'a dirigée pour qu'elle enregistre les mouvements subtils de l’interaction face-à…

Photo
20170135_0050
Analyse des interactions du robot Nina et d'un chercheur face à un jeu de cubes
20170135_0004
Open media modal

Ondes encéphalographiques captées via des électrodes placées sur le crâne de l'expérimentateur. Ces mesures sont effectuées dans le cadre du développement de l'interface cerveau-machine Brain Invaders. Le joueur pilote le programme par "butinage attentionnel", sans manette, par la pensée. Doté d'un casque dont les électrodes sont principalement situées au niveau du cortex visuel et central pariétal, il doit se concentrer sur l’objet qui émet des flashs lumineux afin de l'éliminer. Le signal…

Photo
20170135_0004
Ondes encéphalographiques captées via des électrodes placées sur le crâne de l'expérimentateur
20170135_0040
Open media modal

Robot Humanoïde Nina, piloté par un chercheur depuis une autre salle. Ce dernier est équipé d'un casque de réalité virtuelle, de capteurs autour de la bouche mais aussi de capteurs du regard et des mouvements de tête. Il parle face à un microphone et des caméras dédiées à la capture de mouvement. Le chercheur voit en stéréo à travers les yeux du robot, équipés de caméras et entend en stéréo grâce aux microphones dans les oreilles de Nina. Le petit robot reproduit ainsi en temps réel tous les…

Photo
20170135_0040
Robot Humanoïde Nina, piloté par un chercheur depuis une autre salle
20170135_0023
Open media modal

Drones fonctionnant en pilotage immersif, équipés de caméras à transmission vidéo reliées à des lunettes immersives portées par des expérimentateurs ou à un écran de contrôle. Les caméras sont placées de façon à filmer l'équivalent du poste de pilotage. Les drones sont pilotés via une manette et de manière intuitive grâce à un algorithme permettant de simplifier les commandes. Cet algorithme corrige également la trajectoire pour éviter les collisions et maintenir le drone dans l’espace…

Photo
20170135_0023
Drones fonctionnant en pilotage immersif
20170135_0016
Open media modal

Traitement des troubles de l'équilibre sur une plateforme biomécanique de stimulation visuelle virtuelle. Le patient est placé face à un écran translucide plein champ sur lequel sont projetés des flux visuels composés de cercles changeant de taille et de direction. Ces stimuli visuels dynamiques en 2D et en 3D confèrent l'illusion du mouvement. Le contrôle de l’équilibre est permis par l’interaction de trois modalités sensorielles : la vision, l’équilibration, et la proprioception. Chez les…

Photo
20170135_0016
Traitement des troubles de l'équilibre sur une plateforme de stimulation visuelle
20170135_0034
Open media modal

Pose de capteurs de mouvements labiaux autour de la bouche d'un chercheur. Ces capteurs, associés à un casque de réalité virtuelle doté de capteurs du regard et de mouvements de la tête, à un microphone, mais aussi à des caméras dédiées à la capture de mouvement vont permettre au robot Nina de reproduire en temps réel tous les gestes, expressions faciales et mots prononcés par le chercheur. Ce dernier voit en stéréo à travers les yeux du robot, équipés de caméras et entend en stéréo grâce aux…

Photo
20170135_0034
Pose de capteurs de mouvements labiaux autour de la bouche d'un chercheur
20170135_0009
Open media modal

Démonstrateur d’interface cerveau-machine Brain Invaders. Inspiré du jeu vidéo Space Invaders, ce programme est piloté exclusivement par "butinage attentionnel" soit par la pensée, sans manette. Doté d'un casque dont les électrodes sont principalement situées au niveau du cortex visuel et central pariétal, le joueur doit se concentrer sur l’objet qui émet des flashs lumineux afin de l'éliminer. Le signal cérébral correspondant à la perception du flash (stimuli) généré dans le jeu est une onde…

Photo
20170135_0009
Démonstrateur d’interface cerveau-machine Brain Invaders
20170135_0045
Open media modal

Interactions du robot Nina avec un chercheur, autour d'un jeu de cubes. Dans cette expérience, le robot humanoïde donne des consignes à son partenaire humain, en regardant et en pointant les cubes, tout en se synchronisant avec la parole et les actions de la personne. Nina agit de manière autonome et naturelle suite à une phase de pilotage, répétée un grand nombre de fois. Un chercheur muni de capteurs l'a dirigée pour qu'elle enregistre les mouvements subtils de l’interaction face-à-face …

Photo
20170135_0045
Interactions du robot Nina avec un chercheur, autour d'un jeu de cubes
20170135_0028
Open media modal

Opération de fraisage sur un lopin d'aluminium, avec une fraiseuse traditionnelle Ernault Somua Z1C 3 axes dotée d'un afficheur numérique des cotes, au sein du pôle mécatronique du Gipsa-lab. Ce dernier assure la conception, la réalisation et la maintenance des plateformes expérimentales du laboratoire, ainsi que de certaines plateformes d’enseignement recherche de l’ENSE3-Grenoble-INP. Il est composé de personnes présentant des compétences en mécanique, électronique, électrotechnique,…

Photo
20170135_0028
Opération de fraisage sur un lopin d'aluminium au sein du pôle mécatronique du Gipsa-lab
20170135_0019
Open media modal

Drones pilotés en immersion par des expérimentateurs dotés de lunettes vidéo. Grâce aux caméras placées sur ces drones, les expérimentateurs visualisent l'équivalent du poste de pilotage. Ils dirigent le drone via une manette et de manière intuitive grâce à un algorithme permettant de simplifier les commandes. Cet algorithme corrige également la trajectoire pour éviter les collisions et maintenir le drone dans l’espace autorisé.

Photo
20170135_0019
Drones pilotés en immersion
20170135_0012
Open media modal

Traitement des troubles de l'équilibre sur une plateforme biomécanique de stimulation visuelle virtuelle. Le patient est placé face à un écran translucide plein champ sur lequel sont projetés des flux visuels composés de cercles changeant de taille et de direction. Ces stimuli visuels dynamiques en 2D et en 3D confèrent l'illusion du mouvement. Le contrôle de l’équilibre est permis par l’interaction de trois modalités sensorielles : la vision, l’équilibration, et la proprioception. Chez les…

Photo
20170135_0012
Traitement des troubles de l'équilibre sur une plateforme de stimulation visuelle
20170135_0051
Open media modal

Interactions du robot Nina avec un chercheur, autour d'un jeu de cubes. Dans cette expérience, le robot humanoïde donne des consignes à son partenaire humain, en regardant et en pointant les cubes, tout en se synchronisant avec la parole et les actions de la personne. Nina agit de manière autonome et naturelle suite à une phase de pilotage, répétée un grand nombre de fois. Un chercheur muni de capteurs l'a dirigée pour qu'elle enregistre les mouvements subtils de l’interaction face-à-face …

Photo
20170135_0051
Interactions du robot Nina avec un chercheur, autour d'un jeu de cubes
20170135_0005
Open media modal

Démonstrateur d’interface cerveau-machine Brain Invaders. Inspiré du jeu vidéo Space Invaders, ce programme est piloté exclusivement par "butinage attentionnel" soit par la pensée, sans manette. Doté d'un casque dont les électrodes sont principalement situées au niveau du cortex visuel et central pariétal, le joueur doit se concentrer sur l’objet qui émet des flashs lumineux afin de l'éliminer. Le signal cérébral correspondant à la perception du flash (stimuli) généré dans le jeu est une onde…

Photo
20170135_0005
Démonstrateur d’interface cerveau-machine Brain Invaders
20170135_0041
Open media modal

Robot Humanoïde Nina, piloté par un chercheur depuis une autre salle. Ce dernier est équipé d'un casque de réalité virtuelle, de capteurs autour de la bouche mais aussi de capteurs du regard et des mouvements de tête. Il parle face à un microphone et des caméras dédiées à la capture de mouvement. Le chercheur voit en stéréo à travers les yeux du robot, équipés de caméras et entend en stéréo grâce aux microphones dans les oreilles de Nina. Le petit robot reproduit ainsi en temps réel tous les…

Photo
20170135_0041
Robot Humanoïde Nina, piloté par un chercheur depuis une autre salle
20170135_0024
Open media modal

Réglage de drones fonctionnant en pilotage immersif, équipés de caméras à transmission vidéo reliées à des lunettes immersives portées par des expérimentateurs ou à un écran de contrôle. Les caméras sont placées de façon à filmer l'équivalent du poste de pilotage. Les drones sont pilotés via une manette et de manière intuitive grâce à un algorithme permettant de simplifier les commandes. Cet algorithme corrige également la trajectoire pour éviter les collisions et maintenir le drone dans l…

Photo
20170135_0024
Réglage de drones fonctionnant en pilotage immersif
20170135_0035
Open media modal

Capteurs de mouvements labiaux autour de la bouche d'un chercheur. Ces capteurs, associés à un casque de réalité virtuelle doté de capteurs du regard et de mouvements de la tête, à un microphone, mais aussi à des caméras dédiées à la capture de mouvement vont permettre au robot Nina de reproduire en temps réel tous les gestes, expressions faciales et mots prononcés par le chercheur. Ce dernier voit en stéréo à travers les yeux du robot, équipés de caméras et entend en stéréo grâce aux…

Photo
20170135_0035
Capteurs de mouvements labiaux autour de la bouche d'un chercheur
20170135_0010
Open media modal

Démonstrateur d’interface cerveau-machine Brain Invaders. Inspiré du jeu vidéo Space Invaders, ce programme est piloté exclusivement par "butinage attentionnel" soit par la pensée, sans manette. Doté d'un casque dont les électrodes sont principalement situées au niveau du cortex visuel et central pariétal, le joueur doit se concentrer sur l’objet qui émet des flashs lumineux afin de l'éliminer. Le signal cérébral correspondant à la perception du flash (stimuli) généré dans le jeu est une onde…

Photo
20170135_0010
Démonstrateur d’interface cerveau-machine Brain Invaders
20170135_0046
Open media modal

Interactions du robot Nina avec un chercheur, autour d'un jeu de cubes. Dans cette expérience, le robot humanoïde donne des consignes à son partenaire humain, en regardant et en pointant les cubes, tout en se synchronisant avec la parole et les actions de la personne. Nina agit de manière autonome et naturelle suite à une phase de pilotage, répétée un grand nombre de fois. Un chercheur muni de capteurs l'a dirigée pour qu'elle enregistre les mouvements subtils de l’interaction face-à-face …

Photo
20170135_0046
Interactions du robot Nina avec un chercheur, autour d'un jeu de cubes
20170135_0029
Open media modal

Fraiseuse traditionnelle Ernault Somua Z1C 3 axes dotée d'un afficheur numérique des cotes, au sein du pôle mécatronique du Gipsa-lab. Ce dernier assure la conception, la réalisation et la maintenance des plateformes expérimentales du laboratoire, ainsi que de certaines plateformes d’enseignement recherche de l’ENSE3-Grenoble-INP. Il est composé de personnes présentant des compétences en mécanique, électronique, électrotechnique, prototypage rapide et instrumentation. Ce pôle assure enfin une…

Photo
20170135_0029
Fraiseuse traditionnelle au sein du pôle mécatronique du Gipsa-lab
20170135_0020
Open media modal

Drones fonctionnant en pilotage immersif équipés de caméras à transmission vidéo reliée à des lunettes immersives portées par des expérimentateurs ou à un écran de contrôle. Les caméras sont placées de telle manière à filmer l'équivalent du poste de pilotage. Les drones sont pilotés via une manette et de manière intuitive grâce à un algorithme permettant de simplifier les commandes. Cet algorithme corrige également la trajectoire pour éviter les collisions et maintenir le drone dans l’espace…

Photo
20170135_0020
Drones fonctionnant en pilotage immersif

CNRS Images,

Nous mettons en images les recherches scientifiques pour contribuer à une meilleure compréhension du monde, éveiller la curiosité et susciter l'émerveillement de tous.