Robot humanoïde Nina

Grenoble Images Parole Signal Automatique (GIPSA-lab)

ST MARTIN D HERES CEDEX

GIPSA-lab mène des recherches théoriques et appliquées sur l’automatique, le signal, les images, la parole, la cognition, la robotique et l’apprentissage. Pluridisciplinaire et à l’interface entre l’humain, les mondes physiques et numériques, ses travaux s'appuient sur des théories mathématiques et informatiques pour le développement de modèles et d'algorithmes, validés par des implémentations matérielles et logicielles.

20230013_0003
Open media modal

Mise en place de marqueurs réfléchissants sur un grimpeur. Des caméras, disposées autour d'un prototype de mur d'escalade de vitesse miniaturisé, enregistrent la position de chaque marqueur et la restituent dans un modèle 3D. Ce dernier, permet de mesurer les mouvements du sportif et d'analyser ses performances en puissance et en force. Cette étude biomécanique, effectuée dans le cadre du projet PerfAnalytics (PPR), contribue à apporter une précision scientifique à l'analyse de la force, du…

Photo
20230013_0003
Mise en place de marqueurs réfléchissants sur un grimpeur
20230013_0026
Open media modal

Étude du mouvement d'un grimpeur sur un prototype de mur d'escalade de vitesse miniaturisé. Ce mur est équipé de prises avec des capteurs de force, visibles à droite. Des caméras disposées autour du mur d'escalade enregistrent la position de chaque marqueur réfléchissant placé sur le grimpeur et la restituent dans un modèle 3D. La combinaison de ces données permet l'étude de la capacité motrice, de la coordination, du schéma mental et d'appui des grimpeurs. À terme, ce prototype servira de…

Photo
20230013_0026
Étude du mouvement d'un grimpeur sur un prototype de mur d'escalade de vitesse miniaturisé
20230013_0018
Open media modal

Prise équipée de capteurs de force sur un prototype de mur d'escalade de vitesse miniaturisé. Les marqueurs réfléchissants présents sur les gants du grimpeur servent à enregistrer ses mouvements, tandis que cette prise spéciale mesure sa force. La combinaison de ces données permet l'étude de la capacité d'application de la force, de la coordination, du schéma mental et d'appui des grimpeurs. À terme, ce prototype servira de modèle pour l'installation d'une piste équipée des mêmes instruments de…

Photo
20230013_0018
Prise équipée de capteurs de force sur un prototype de mur d'escalade de vitesse miniaturisé
20230013_0009
Open media modal

Mesure des mouvements de traction d'un grimpeur et analyse de sa performance en puissance et en coordination. Les prises horizontales en bois sur lesquelles le grimpeur se suspend à la force de ses bras, permettent de mesurer la puissance musculaire avec laquelle il se propulse en hauteur. Les graduations servent de points de repères pour le grimpeur, afin d'avoir un objectif à atteindre. Des caméras disposées autour du mur d'escalade enregistrent la position de chaque marqueur réfléchissant et…

Photo
20230013_0009
Mesure des mouvements de traction d'un grimpeur et analyse de sa performance
20230013_0023
Open media modal

Étude du mouvement d'une grimpeuse sur un prototype de mur d'escalade de vitesse miniaturisé. Ce mur est équipé de prises avec des capteurs de force. Des caméras disposées autour du mur d'escalade enregistrent la position de chaque marqueur réfléchissant placé sur la sportive et la restituent dans un modèle 3D. La combinaison de ces données permet l'étude de la capacité d'application de la force, de la coordination, du schéma mental et d'appui des grimpeurs. À terme, ce prototype servira de…

Photo
20230013_0023
Étude du mouvement d'une grimpeuse sur un prototype de mur d'escalade de vitesse miniaturisé
20230013_0014
Open media modal

Étude du mouvement d'un grimpeur sur un prototype de mur d'escalade de vitesse miniaturisé. Ce mur est équipé de prises avec des capteurs de force. Des caméras disposées autour enregistrent la position de chaque marqueur réfléchissant placé sur le grimpeur et la restituent dans un modèle 3D. La combinaison de ces données permet l'étude de la capacité motrice, de la coordination, du schéma mental et d'appui des grimpeurs. À terme, ce prototype servira de modèle pour l'installation d'une piste…

Photo
20230013_0014
Étude du mouvement d'un grimpeur sur un prototype de mur d'escalade de vitesse miniaturisé
20230013_0005
Open media modal

Mesure des mouvements de traction d'un grimpeur et analyse de sa performance en puissance et en coordination. Les prises horizontales en bois sur lesquelles le grimpeur se suspend à la force de ses bras, permettent de mesurer la puissance musculaire avec laquelle il se propulse en hauteur. Les graduations servent de points de repères pour le grimpeur, afin d'avoir un objectif à atteindre. Des caméras disposées autour du mur d'escalade enregistrent la position de chaque marqueur réfléchissant et…

Photo
20230013_0005
Mesure des mouvements de traction d'un grimpeur et analyse de sa performance
20230013_0019
Open media modal

Prise sur un prototype de mur d'escalade de vitesse miniaturisé. Les marqueurs réfléchissants présents sur les gants du grimpeur servent à enregistrer ses mouvements : des caméras disposées autour du mur enregistrent leur position et la restituent dans un modèle 3D. Ces données permettent de mesurer les mouvements du sportif et d'analyser ses performances en puissance et en force. Cette étude biomécanique, effectuée dans le cadre du projet PerfAnalytics (PPR), contribue à apporter une précision…

Photo
20230013_0019
Prise sur un prototype de mur d'escalade de vitesse miniaturisé
20230013_0010
Open media modal

Mesure des mouvements de traction d'un grimpeur et analyse de sa performance en puissance et en coordination. Les prises horizontales en bois sur lesquelles le grimpeur se suspend à la force de ses bras, permettent de mesurer la puissance musculaire avec laquelle il se propulse en hauteur. Les graduations servent de points de repères pour le grimpeur, afin d'avoir un objectif à atteindre. Des caméras disposées autour du mur d'escalade enregistrent la position de chaque marqueur réfléchissant et…

Photo
20230013_0010
Mesure des mouvements de traction d'un grimpeur et analyse de sa performance
20230013_0024
Open media modal

Étude du mouvement d'une grimpeuse sur un prototype de mur d'escalade de vitesse miniaturisé. Ce mur est équipé de prises avec des capteurs de force. Des caméras disposées autour du mur d'escalade enregistrent la position de chaque marqueur réfléchissant placé sur la sportive et la restituent dans un modèle 3D. La combinaison de ces données permet l'étude de la capacité d'application de la force, de la coordination, du schéma mental et d'appui des grimpeurs. À terme, ce prototype servira de…

Photo
20230013_0024
Étude du mouvement d'une grimpeuse sur un prototype de mur d'escalade de vitesse miniaturisé
20230013_0015
Open media modal

Étude du mouvement d'un grimpeur sur un prototype de mur d'escalade de vitesse miniaturisé. Ce mur est équipé de prises avec des capteurs de force, visibles à droite. Des caméras disposées autour du mur d'escalade enregistrent la position de chaque marqueur réfléchissant placé sur le grimpeur et la restituent dans un modèle 3D. La combinaison de ces données permet l'étude de la capacité motrice, de la coordination, du schéma mental et d'appui des grimpeurs. À terme, ce prototype servira de…

Photo
20230013_0015
Étude du mouvement d'un grimpeur sur un prototype de mur d'escalade de vitesse miniaturisé
20230013_0006
Open media modal

Mesure des mouvements de traction d'un grimpeur et analyse de sa performance en puissance et en coordination. Les prises horizontales en bois sur lesquelles le grimpeur se suspend à la force de ses bras, permettent de mesurer la puissance musculaire avec laquelle il se propulse en hauteur. Les graduations servent de points de repères pour le grimpeur, afin d'avoir un objectif à atteindre. Des caméras disposées autour du mur d'escalade enregistrent la position de chaque marqueur réfléchissant et…

Photo
20230013_0006
Mesure des mouvements de traction d'un grimpeur et analyse de sa performance
20230013_0020
Open media modal

Étude du mouvement d'un grimpeur sur un prototype de mur d'escalade de vitesse miniaturisé. Ce mur est équipé de prises avec des capteurs de force, dont l'une d'elles est ici tenue par la main droite du sportif. Des caméras disposées autour enregistrent la position de chaque marqueur réfléchissant placé sur le grimpeur et la restituent dans un modèle 3D. La combinaison de ces données permet l'étude de la capacité d'application de la force, de la coordination, du schéma mental et d'appui des…

Photo
20230013_0020
Étude du mouvement d'un grimpeur sur un prototype de mur d'escalade de vitesse miniaturisé
20230013_0011
Open media modal

Mesure des mouvements de traction d'un grimpeur et analyse de sa performance en puissance et en coordination. Les prises horizontales en bois sur lesquelles le grimpeur se suspend à la force de ses bras, permettent de mesurer la puissance musculaire avec laquelle il se propulse en hauteur. Les graduations servent de points de repères pour le grimpeur, afin d'avoir un objectif à atteindre. Des caméras disposées autour du mur d'escalade enregistrent la position de chaque marqueur réfléchissant et…

Photo
20230013_0011
Mesure des mouvements de traction d'un grimpeur et analyse de sa performance
20230013_0001
Open media modal

Mise en place de marqueurs réfléchissants sur un grimpeur. Des caméras, disposées autour d'un prototype de mur d'escalade de vitesse miniaturisé, enregistrent la position de chaque marqueur et la restituent dans un modèle 3D. Ce dernier, permet de mesurer les mouvements du sportif et d'analyser ses performances en puissance et en force. Cette étude biomécanique, effectuée dans le cadre du projet PerfAnalytics (PPR), contribue à apporter une précision scientifique à l'analyse de la force, du…

Photo
20230013_0001
Mise en place de marqueurs réfléchissants sur un grimpeur
20230013_0025
Open media modal

Étude du mouvement d'une grimpeuse sur un prototype de mur d'escalade de vitesse miniaturisé. Ce mur est équipé de prises avec des capteurs de force. Des caméras disposées autour du mur d'escalade enregistrent la position de chaque marqueur réfléchissant placé sur la sportive et la restituent dans un modèle 3D. La combinaison de ces données permet l'étude de la capacité d'application de la force, de la coordination, du schéma mental et d'appui des grimpeurs. À terme, ce prototype servira de…

Photo
20230013_0025
Étude du mouvement d'une grimpeuse sur un prototype de mur d'escalade de vitesse miniaturisé
20230013_0016
Open media modal

Étude du mouvement d'un grimpeur sur un prototype de mur d'escalade de vitesse miniaturisé. Ce mur est équipé de prises avec des capteurs de force. Des caméras disposées autour enregistrent la position de chaque marqueur réfléchissant placé sur le grimpeur et la restituent dans un modèle 3D. La combinaison de ces données permet l'étude de la capacité motrice, de la coordination, du schéma mental et d'appui des grimpeurs. À terme, ce prototype servira de modèle pour l'installation d'une piste…

Photo
20230013_0016
Étude du mouvement d'un grimpeur sur un prototype de mur d'escalade de vitesse miniaturisé
20230013_0007
Open media modal

Mesure des mouvements de traction d'un grimpeur et analyse de sa performance en puissance et en coordination. Les prises horizontales en bois sur lesquelles le grimpeur se suspend à la force de ses bras, permettent de mesurer la puissance musculaire avec laquelle il se propulse en hauteur. Les graduations servent de points de repères pour le grimpeur, afin d'avoir un objectif à atteindre. Des caméras disposées autour du mur d'escalade enregistrent la position de chaque marqueur réfléchissant et…

Photo
20230013_0007
Mesure des mouvements de traction d'un grimpeur et analyse de sa performance
20230013_0021
Open media modal

Étude du mouvement d'un grimpeur sur un prototype de mur d'escalade de vitesse miniaturisé. Ce mur est équipé de prises avec des capteurs de force, dont l'une d'elles est ici tenue par la main droite du sportif. Des caméras disposées autour enregistrent la position de chaque marqueur réfléchissant placé sur le grimpeur et la restituent dans un modèle 3D. La combinaison de ces données permet l'étude de la capacité d'application de la force, de la coordination, du schéma mental et d'appui des…

Photo
20230013_0021
Étude du mouvement d'un grimpeur sur un prototype de mur d'escalade de vitesse miniaturisé
20230013_0012
Open media modal

Étude du mouvement d'un grimpeur sur un prototype de mur d'escalade de vitesse miniaturisé. Ce mur est équipé de prises avec des capteurs de force, visibles à droite. Des caméras disposées autour du mur d'escalade enregistrent la position de chaque marqueur réfléchissant placé sur le grimpeur et la restituent dans un modèle 3D. La combinaison de ces données permet l'étude de la capacité motrice, de la coordination, du schéma mental et d'appui des grimpeurs. À terme, ce prototype servira de…

Photo
20230013_0012
Étude du mouvement d'un grimpeur sur un prototype de mur d'escalade de vitesse miniaturisé
20230013_0002
Open media modal

Mise en place de marqueurs réfléchissants sur un grimpeur. Des caméras, disposées autour d'un prototype de mur d'escalade de vitesse miniaturisé, enregistrent la position de chaque marqueur et la restituent dans un modèle 3D. Ce dernier, permet de mesurer les mouvements du sportif et d'analyser ses performances en puissance et en force. Cette étude biomécanique, effectuée dans le cadre du projet PerfAnalytics (PPR), contribue à apporter une précision scientifique à l'analyse de la force, du…

Photo
20230013_0002
Mise en place de marqueurs réfléchissants sur un grimpeur
20230013_0004
Open media modal

Mesure des mouvements de traction d'un grimpeur et analyse de sa performance en puissance et en coordination. Les prises horizontales en bois sur lesquelles le grimpeur se suspend à la force de ses bras, permettent de mesurer la puissance musculaire avec laquelle il se propulse en hauteur. Les graduations servent de points de repères pour le grimpeur, afin d'avoir un objectif à atteindre. Des caméras disposées autour du mur d'escalade enregistrent la position de chaque marqueur réfléchissant et…

Photo
20230013_0004
Mesure des mouvements de traction d'un grimpeur et analyse de sa performance
20230013_0017
Open media modal

Étude du mouvement d'un grimpeur sur un prototype de mur d'escalade de vitesse miniaturisé. Ce mur est équipé de prises avec des capteurs de force, visibles à droite. Des caméras disposées autour du mur d'escalade enregistrent la position de chaque marqueur réfléchissant placé sur le grimpeur et la restituent dans un modèle 3D. La combinaison de ces données permet l'étude de la capacité motrice, de la coordination, du schéma mental et d'appui des grimpeurs. À terme, ce prototype servira de…

Photo
20230013_0017
Étude du mouvement d'un grimpeur sur un prototype de mur d'escalade de vitesse miniaturisé
20230013_0008
Open media modal

Mesure des mouvements de traction d'un grimpeur et analyse de sa performance en puissance et en coordination. Les prises horizontales en bois sur lesquelles le grimpeur se suspend à la force de ses bras, permettent de mesurer la puissance musculaire avec laquelle il se propulse en hauteur. Les graduations servent de points de repères pour le grimpeur, afin d'avoir un objectif à atteindre. Des caméras disposées autour du mur d'escalade enregistrent la position de chaque marqueur réfléchissant et…

Photo
20230013_0008
Mesure des mouvements de traction d'un grimpeur et analyse de sa performance
20230013_0022
Open media modal

Étude du mouvement d'une grimpeuse sur un prototype de mur d'escalade de vitesse miniaturisé. Ce mur est équipé de prises avec des capteurs de force. Des caméras disposées autour du mur d'escalade enregistrent la position de chaque marqueur réfléchissant placé sur la sportive et la restituent dans un modèle 3D. La combinaison de ces données permet l'étude de la capacité d'application de la force, de la coordination, du schéma mental et d'appui des grimpeurs. À terme, ce prototype servira de…

Photo
20230013_0022
Étude du mouvement d'une grimpeuse sur un prototype de mur d'escalade de vitesse miniaturisé
20230013_0013
Open media modal

Étude du mouvement d'un grimpeur sur un prototype de mur d'escalade de vitesse miniaturisé. Ce mur est équipé de prises avec des capteurs de force, visibles à droite. Des caméras disposées autour du mur d'escalade enregistrent la position de chaque marqueur réfléchissant placé sur le grimpeur et la restituent dans un modèle 3D. La combinaison de ces données permet l'étude de la capacité motrice, de la coordination, du schéma mental et d'appui des grimpeurs. À terme, ce prototype servira de…

Photo
20230013_0013
Étude du mouvement d'un grimpeur sur un prototype de mur d'escalade de vitesse miniaturisé
20170135_0013
Open media modal

Traitement des troubles de l'équilibre sur une plateforme biomécanique de stimulation visuelle virtuelle. Le patient est placé face à un écran translucide plein champ sur lequel sont projetés des flux visuels composés de cercles changeant de taille et de direction. Ces stimuli visuels dynamiques en 2D et en 3D confèrent l'illusion du mouvement. Le contrôle de l’équilibre est permis par l’interaction de trois modalités sensorielles : la vision, l’équilibration, et la proprioception. Chez les…

Photo
20170135_0013
Traitement des troubles de l'équilibre sur une plateforme de stimulation visuelle
20170135_0052
Open media modal

Robot Humanoïde Nina capable d'interagir manière naturelle et socialement acceptable. Le robot est tout d'abord piloté à distance par un chercheur, qui, muni de divers capteurs et d'un microphone lui dicte le comportement à adopter et les phrases à prononcer, jusqu'à l'articulation des mots. Le petit robot de 1,02 mètres reproduit ainsi en temps réel l'ensemble des actions de la personne le contrôlant. En plus de sa possible utilisation en télé-présence immersive, cette phase de pilotage,…

Photo
20170135_0052
Robot Humanoïde Nina
20170135_0006
Open media modal

Démonstrateur d’interface cerveau-machine Brain Invaders. Inspiré du jeu vidéo Space Invaders, ce programme est piloté exclusivement par "butinage attentionnel" soit par la pensée, sans manette. Doté d'un casque dont les électrodes sont principalement situées au niveau du cortex visuel et central pariétal, le joueur doit se concentrer sur l’objet qui émet des flashs lumineux afin de l'éliminer. Le signal cérébral correspondant à la perception du flash (stimuli) généré dans le jeu est une onde…

Photo
20170135_0006
Démonstrateur d’interface cerveau-machine Brain Invaders
20170135_0042
Open media modal

Robot Humanoïde Nina, piloté par un chercheur depuis une autre salle. Ce dernier est équipé d'un casque de réalité virtuelle, de capteurs autour de la bouche mais aussi de capteurs du regard et des mouvements de tête. Il parle face à un microphone et des caméras dédiées à la capture de mouvement. Le chercheur voit en stéréo à travers les yeux du robot, équipés de caméras et entend en stéréo grâce aux microphones dans les oreilles de Nina. Le petit robot reproduit ainsi en temps réel tous les…

Photo
20170135_0042
Robot Humanoïde Nina, piloté par un chercheur depuis une autre salle
20170135_0025
Open media modal

Drones fonctionnant en pilotage immersif, équipés de caméras à transmission vidéo reliées à des lunettes immersives portées par des expérimentateurs ou à un écran de contrôle. Les caméras sont placées de façon à filmer l'équivalent du poste de pilotage. Les drones sont pilotés via une manette et de manière intuitive grâce à un algorithme permettant de simplifier les commandes. Cet algorithme corrige également la trajectoire pour éviter les collisions et maintenir le drone dans l’espace…

Photo
20170135_0025
Drone fonctionnant en pilotage immersif
20170135_0036
Open media modal

Installation d'un casque de réalité virtuelle qui permettra au chercheur de voir à travers les yeux du robot Nina, placé dans une autre pièce. Ce casque, également muni de capteurs de mouvements du regard et de la tête est associé à des capteurs sur la bouche, à un microphone mais aussi à des caméras dédiées à la capture de mouvement. Ils vont permettre au robot Nina de reproduire en temps réel tous les gestes, expressions faciales et mots prononcés par le chercheur. Ce dernier voit en stéréo à…

Photo
20170135_0036
Installation d'un casque de réalité virtuelle
20170135_0011
Open media modal

Ondes encéphalographiques captées via des électrodes placées sur le crâne de l'expérimentateur. Ces mesures sont effectuées dans le cadre du développement de l'interface cerveau-machine Brain Invaders. Le joueur pilote le programme par "butinage attentionnel", sans manette, par la pensée. Doté d'un casque dont les électrodes sont principalement situées au niveau du cortex visuel et central pariétal, il doit se concentrer sur l’objet qui émet des flashs lumineux afin de l'éliminer. Le signal…

Photo
20170135_0011
Ondes encéphalographiques captées via des électrodes
20170135_0047
Open media modal

Interactions du robot Nina avec un chercheur, autour d'un jeu de cubes. Dans cette expérience, le robot humanoïde donne des consignes à son partenaire humain, en regardant et en pointant les cubes, tout en se synchronisant avec la parole et les actions de la personne. Nina agit de manière autonome et naturelle suite à une phase de pilotage, répétée un grand nombre de fois. Un chercheur muni de capteurs l'a dirigée pour qu'elle enregistre les mouvements subtils de l’interaction face-à-face …

Photo
20170135_0047
Interactions du robot Nina avec un chercheur, autour d'un jeu de cubes
20170135_0030
Open media modal

Fraiseuse traditionnelle Ernault Somua Z1C 3 axes dotée d'un afficheur numérique des cotes, au sein du pôle mécatronique du Gipsa-lab. Ce dernier assure la conception, la réalisation et la maintenance des plateformes expérimentales du laboratoire, ainsi que de certaines plateformes d’enseignement recherche de l’ENSE3-Grenoble-INP. Il est composé de personnes présentant des compétences en mécanique, électronique, électrotechnique, prototypage rapide et instrumentation. Ce pôle assure enfin une…

Photo
20170135_0030
Fraiseuse traditionnelle au sein du pôle mécatronique du Gipsa-lab
20170135_0021
Open media modal

Drones fonctionnant en pilotage immersif équipés de caméras à transmission vidéo reliée à des lunettes immersives portées par des expérimentateurs ou à un écran de contrôle. Les caméras sont placées de telle manière à filmer l'équivalent du poste de pilotage. Les drones sont pilotés via une manette et de manière intuitive grâce à un algorithme permettant de simplifier les commandes. Cet algorithme corrige également la trajectoire pour éviter les collisions et maintenir le drone dans l’espace…

Photo
20170135_0021
Drones fonctionnant en pilotage immersif
20170135_0002
Open media modal

Installation d'un casque muni d'électrodes utilisé au sein de l’interface cerveau-machine Brain Invaders. Le joueur pilote le programme par "butinage attentionnel", sans manette, par la pensée. Doté d'un casque dont les électrodes sont principalement situées au niveau du cortex visuel et central pariétal, il doit se concentrer sur l’objet qui émet des flashs lumineux afin de l'éliminer. Le signal cérébral correspondant à la perception du flash (stimuli) généré dans le jeu est une onde…

Photo
20170135_0002
Installation d'un casque muni d'électrodes
20170135_0014
Open media modal

Plateforme biomécanique de stimulation visuelle virtuelle de traitement des troubles de l'équilibre. Le patient est placé face à un écran translucide plein champ sur lequel sont projetés des flux visuels composés de cercles changeant de taille et de direction. Ces stimuli visuels dynamiques en 2D et en 3D confèrent l'illusion du mouvement. Le contrôle de l’équilibre est permis par l’interaction de trois modalités sensorielles : la vision, l’équilibration, et la proprioception. Chez les…

Photo
20170135_0014
Plateforme de stimulation visuelle virtuelle de traitement des troubles de l'équilibre

CNRS Images,

Nous mettons en images les recherches scientifiques pour contribuer à une meilleure compréhension du monde, éveiller la curiosité et susciter l'émerveillement de tous.