Robot humanoïde Nina

Grenoble Images Parole Signal Automatique (GIPSA-lab)

ST MARTIN D HERES CEDEX

GIPSA-lab develops theoretical and applied researches on control, signal and images processing, speech, cognition, robotics and artifical intelligence. Multidisciplinary and at the interface between the human, physical and digital worlds, its work is based on mathematical and computational theories for the development of models and algorithms, validated by hardware and software implementations.

20230013_0020
Open media modal

Étude du mouvement d'un grimpeur sur un prototype de mur d'escalade de vitesse miniaturisé. Ce mur est équipé de prises avec des capteurs de force, dont l'une d'elles est ici tenue par la main droite du sportif. Des caméras disposées autour enregistrent la position de chaque marqueur réfléchissant placé sur le grimpeur et la restituent dans un modèle 3D. La combinaison de ces données permet l'étude de la capacité d'application de la force, de la coordination, du schéma mental et d'appui des…

Photo
20230013_0020
Étude du mouvement d'un grimpeur sur un prototype de mur d'escalade de vitesse miniaturisé
20230013_0011
Open media modal

Mesure des mouvements de traction d'un grimpeur et analyse de sa performance en puissance et en coordination. Les prises horizontales en bois sur lesquelles le grimpeur se suspend à la force de ses bras, permettent de mesurer la puissance musculaire avec laquelle il se propulse en hauteur. Les graduations servent de points de repères pour le grimpeur, afin d'avoir un objectif à atteindre. Des caméras disposées autour du mur d'escalade enregistrent la position de chaque marqueur réfléchissant et…

Photo
20230013_0011
Mesure des mouvements de traction d'un grimpeur et analyse de sa performance
20230013_0001
Open media modal

Mise en place de marqueurs réfléchissants sur un grimpeur. Des caméras, disposées autour d'un prototype de mur d'escalade de vitesse miniaturisé, enregistrent la position de chaque marqueur et la restituent dans un modèle 3D. Ce dernier, permet de mesurer les mouvements du sportif et d'analyser ses performances en puissance et en force. Cette étude biomécanique, effectuée dans le cadre du projet PerfAnalytics (PPR), contribue à apporter une précision scientifique à l'analyse de la force, du…

Photo
20230013_0001
Mise en place de marqueurs réfléchissants sur un grimpeur
20230013_0025
Open media modal

Étude du mouvement d'une grimpeuse sur un prototype de mur d'escalade de vitesse miniaturisé. Ce mur est équipé de prises avec des capteurs de force. Des caméras disposées autour du mur d'escalade enregistrent la position de chaque marqueur réfléchissant placé sur la sportive et la restituent dans un modèle 3D. La combinaison de ces données permet l'étude de la capacité d'application de la force, de la coordination, du schéma mental et d'appui des grimpeurs. À terme, ce prototype servira de…

Photo
20230013_0025
Étude du mouvement d'une grimpeuse sur un prototype de mur d'escalade de vitesse miniaturisé
20230013_0016
Open media modal

Étude du mouvement d'un grimpeur sur un prototype de mur d'escalade de vitesse miniaturisé. Ce mur est équipé de prises avec des capteurs de force. Des caméras disposées autour enregistrent la position de chaque marqueur réfléchissant placé sur le grimpeur et la restituent dans un modèle 3D. La combinaison de ces données permet l'étude de la capacité motrice, de la coordination, du schéma mental et d'appui des grimpeurs. À terme, ce prototype servira de modèle pour l'installation d'une piste…

Photo
20230013_0016
Étude du mouvement d'un grimpeur sur un prototype de mur d'escalade de vitesse miniaturisé
20230013_0007
Open media modal

Mesure des mouvements de traction d'un grimpeur et analyse de sa performance en puissance et en coordination. Les prises horizontales en bois sur lesquelles le grimpeur se suspend à la force de ses bras, permettent de mesurer la puissance musculaire avec laquelle il se propulse en hauteur. Les graduations servent de points de repères pour le grimpeur, afin d'avoir un objectif à atteindre. Des caméras disposées autour du mur d'escalade enregistrent la position de chaque marqueur réfléchissant et…

Photo
20230013_0007
Mesure des mouvements de traction d'un grimpeur et analyse de sa performance
20230013_0021
Open media modal

Étude du mouvement d'un grimpeur sur un prototype de mur d'escalade de vitesse miniaturisé. Ce mur est équipé de prises avec des capteurs de force, dont l'une d'elles est ici tenue par la main droite du sportif. Des caméras disposées autour enregistrent la position de chaque marqueur réfléchissant placé sur le grimpeur et la restituent dans un modèle 3D. La combinaison de ces données permet l'étude de la capacité d'application de la force, de la coordination, du schéma mental et d'appui des…

Photo
20230013_0021
Étude du mouvement d'un grimpeur sur un prototype de mur d'escalade de vitesse miniaturisé
20230013_0012
Open media modal

Étude du mouvement d'un grimpeur sur un prototype de mur d'escalade de vitesse miniaturisé. Ce mur est équipé de prises avec des capteurs de force, visibles à droite. Des caméras disposées autour du mur d'escalade enregistrent la position de chaque marqueur réfléchissant placé sur le grimpeur et la restituent dans un modèle 3D. La combinaison de ces données permet l'étude de la capacité motrice, de la coordination, du schéma mental et d'appui des grimpeurs. À terme, ce prototype servira de…

Photo
20230013_0012
Étude du mouvement d'un grimpeur sur un prototype de mur d'escalade de vitesse miniaturisé
20230013_0002
Open media modal

Mise en place de marqueurs réfléchissants sur un grimpeur. Des caméras, disposées autour d'un prototype de mur d'escalade de vitesse miniaturisé, enregistrent la position de chaque marqueur et la restituent dans un modèle 3D. Ce dernier, permet de mesurer les mouvements du sportif et d'analyser ses performances en puissance et en force. Cette étude biomécanique, effectuée dans le cadre du projet PerfAnalytics (PPR), contribue à apporter une précision scientifique à l'analyse de la force, du…

Photo
20230013_0002
Mise en place de marqueurs réfléchissants sur un grimpeur
20230013_0004
Open media modal

Mesure des mouvements de traction d'un grimpeur et analyse de sa performance en puissance et en coordination. Les prises horizontales en bois sur lesquelles le grimpeur se suspend à la force de ses bras, permettent de mesurer la puissance musculaire avec laquelle il se propulse en hauteur. Les graduations servent de points de repères pour le grimpeur, afin d'avoir un objectif à atteindre. Des caméras disposées autour du mur d'escalade enregistrent la position de chaque marqueur réfléchissant et…

Photo
20230013_0004
Mesure des mouvements de traction d'un grimpeur et analyse de sa performance
20230013_0017
Open media modal

Étude du mouvement d'un grimpeur sur un prototype de mur d'escalade de vitesse miniaturisé. Ce mur est équipé de prises avec des capteurs de force, visibles à droite. Des caméras disposées autour du mur d'escalade enregistrent la position de chaque marqueur réfléchissant placé sur le grimpeur et la restituent dans un modèle 3D. La combinaison de ces données permet l'étude de la capacité motrice, de la coordination, du schéma mental et d'appui des grimpeurs. À terme, ce prototype servira de…

Photo
20230013_0017
Étude du mouvement d'un grimpeur sur un prototype de mur d'escalade de vitesse miniaturisé
20230013_0008
Open media modal

Mesure des mouvements de traction d'un grimpeur et analyse de sa performance en puissance et en coordination. Les prises horizontales en bois sur lesquelles le grimpeur se suspend à la force de ses bras, permettent de mesurer la puissance musculaire avec laquelle il se propulse en hauteur. Les graduations servent de points de repères pour le grimpeur, afin d'avoir un objectif à atteindre. Des caméras disposées autour du mur d'escalade enregistrent la position de chaque marqueur réfléchissant et…

Photo
20230013_0008
Mesure des mouvements de traction d'un grimpeur et analyse de sa performance
20230013_0022
Open media modal

Étude du mouvement d'une grimpeuse sur un prototype de mur d'escalade de vitesse miniaturisé. Ce mur est équipé de prises avec des capteurs de force. Des caméras disposées autour du mur d'escalade enregistrent la position de chaque marqueur réfléchissant placé sur la sportive et la restituent dans un modèle 3D. La combinaison de ces données permet l'étude de la capacité d'application de la force, de la coordination, du schéma mental et d'appui des grimpeurs. À terme, ce prototype servira de…

Photo
20230013_0022
Étude du mouvement d'une grimpeuse sur un prototype de mur d'escalade de vitesse miniaturisé
20230013_0013
Open media modal

Étude du mouvement d'un grimpeur sur un prototype de mur d'escalade de vitesse miniaturisé. Ce mur est équipé de prises avec des capteurs de force, visibles à droite. Des caméras disposées autour du mur d'escalade enregistrent la position de chaque marqueur réfléchissant placé sur le grimpeur et la restituent dans un modèle 3D. La combinaison de ces données permet l'étude de la capacité motrice, de la coordination, du schéma mental et d'appui des grimpeurs. À terme, ce prototype servira de…

Photo
20230013_0013
Étude du mouvement d'un grimpeur sur un prototype de mur d'escalade de vitesse miniaturisé
20230013_0003
Open media modal

Mise en place de marqueurs réfléchissants sur un grimpeur. Des caméras, disposées autour d'un prototype de mur d'escalade de vitesse miniaturisé, enregistrent la position de chaque marqueur et la restituent dans un modèle 3D. Ce dernier, permet de mesurer les mouvements du sportif et d'analyser ses performances en puissance et en force. Cette étude biomécanique, effectuée dans le cadre du projet PerfAnalytics (PPR), contribue à apporter une précision scientifique à l'analyse de la force, du…

Photo
20230013_0003
Mise en place de marqueurs réfléchissants sur un grimpeur
20230013_0026
Open media modal

Étude du mouvement d'un grimpeur sur un prototype de mur d'escalade de vitesse miniaturisé. Ce mur est équipé de prises avec des capteurs de force, visibles à droite. Des caméras disposées autour du mur d'escalade enregistrent la position de chaque marqueur réfléchissant placé sur le grimpeur et la restituent dans un modèle 3D. La combinaison de ces données permet l'étude de la capacité motrice, de la coordination, du schéma mental et d'appui des grimpeurs. À terme, ce prototype servira de…

Photo
20230013_0026
Étude du mouvement d'un grimpeur sur un prototype de mur d'escalade de vitesse miniaturisé
20230013_0018
Open media modal

Prise équipée de capteurs de force sur un prototype de mur d'escalade de vitesse miniaturisé. Les marqueurs réfléchissants présents sur les gants du grimpeur servent à enregistrer ses mouvements, tandis que cette prise spéciale mesure sa force. La combinaison de ces données permet l'étude de la capacité d'application de la force, de la coordination, du schéma mental et d'appui des grimpeurs. À terme, ce prototype servira de modèle pour l'installation d'une piste équipée des mêmes instruments de…

Photo
20230013_0018
Prise équipée de capteurs de force sur un prototype de mur d'escalade de vitesse miniaturisé
20230013_0009
Open media modal

Mesure des mouvements de traction d'un grimpeur et analyse de sa performance en puissance et en coordination. Les prises horizontales en bois sur lesquelles le grimpeur se suspend à la force de ses bras, permettent de mesurer la puissance musculaire avec laquelle il se propulse en hauteur. Les graduations servent de points de repères pour le grimpeur, afin d'avoir un objectif à atteindre. Des caméras disposées autour du mur d'escalade enregistrent la position de chaque marqueur réfléchissant et…

Photo
20230013_0009
Mesure des mouvements de traction d'un grimpeur et analyse de sa performance
20230013_0023
Open media modal

Étude du mouvement d'une grimpeuse sur un prototype de mur d'escalade de vitesse miniaturisé. Ce mur est équipé de prises avec des capteurs de force. Des caméras disposées autour du mur d'escalade enregistrent la position de chaque marqueur réfléchissant placé sur la sportive et la restituent dans un modèle 3D. La combinaison de ces données permet l'étude de la capacité d'application de la force, de la coordination, du schéma mental et d'appui des grimpeurs. À terme, ce prototype servira de…

Photo
20230013_0023
Étude du mouvement d'une grimpeuse sur un prototype de mur d'escalade de vitesse miniaturisé
20230013_0014
Open media modal

Étude du mouvement d'un grimpeur sur un prototype de mur d'escalade de vitesse miniaturisé. Ce mur est équipé de prises avec des capteurs de force. Des caméras disposées autour enregistrent la position de chaque marqueur réfléchissant placé sur le grimpeur et la restituent dans un modèle 3D. La combinaison de ces données permet l'étude de la capacité motrice, de la coordination, du schéma mental et d'appui des grimpeurs. À terme, ce prototype servira de modèle pour l'installation d'une piste…

Photo
20230013_0014
Étude du mouvement d'un grimpeur sur un prototype de mur d'escalade de vitesse miniaturisé
20230013_0005
Open media modal

Mesure des mouvements de traction d'un grimpeur et analyse de sa performance en puissance et en coordination. Les prises horizontales en bois sur lesquelles le grimpeur se suspend à la force de ses bras, permettent de mesurer la puissance musculaire avec laquelle il se propulse en hauteur. Les graduations servent de points de repères pour le grimpeur, afin d'avoir un objectif à atteindre. Des caméras disposées autour du mur d'escalade enregistrent la position de chaque marqueur réfléchissant et…

Photo
20230013_0005
Mesure des mouvements de traction d'un grimpeur et analyse de sa performance
20230013_0019
Open media modal

Prise sur un prototype de mur d'escalade de vitesse miniaturisé. Les marqueurs réfléchissants présents sur les gants du grimpeur servent à enregistrer ses mouvements : des caméras disposées autour du mur enregistrent leur position et la restituent dans un modèle 3D. Ces données permettent de mesurer les mouvements du sportif et d'analyser ses performances en puissance et en force. Cette étude biomécanique, effectuée dans le cadre du projet PerfAnalytics (PPR), contribue à apporter une précision…

Photo
20230013_0019
Prise sur un prototype de mur d'escalade de vitesse miniaturisé
20230013_0010
Open media modal

Mesure des mouvements de traction d'un grimpeur et analyse de sa performance en puissance et en coordination. Les prises horizontales en bois sur lesquelles le grimpeur se suspend à la force de ses bras, permettent de mesurer la puissance musculaire avec laquelle il se propulse en hauteur. Les graduations servent de points de repères pour le grimpeur, afin d'avoir un objectif à atteindre. Des caméras disposées autour du mur d'escalade enregistrent la position de chaque marqueur réfléchissant et…

Photo
20230013_0010
Mesure des mouvements de traction d'un grimpeur et analyse de sa performance
20230013_0024
Open media modal

Étude du mouvement d'une grimpeuse sur un prototype de mur d'escalade de vitesse miniaturisé. Ce mur est équipé de prises avec des capteurs de force. Des caméras disposées autour du mur d'escalade enregistrent la position de chaque marqueur réfléchissant placé sur la sportive et la restituent dans un modèle 3D. La combinaison de ces données permet l'étude de la capacité d'application de la force, de la coordination, du schéma mental et d'appui des grimpeurs. À terme, ce prototype servira de…

Photo
20230013_0024
Étude du mouvement d'une grimpeuse sur un prototype de mur d'escalade de vitesse miniaturisé
20230013_0015
Open media modal

Étude du mouvement d'un grimpeur sur un prototype de mur d'escalade de vitesse miniaturisé. Ce mur est équipé de prises avec des capteurs de force, visibles à droite. Des caméras disposées autour du mur d'escalade enregistrent la position de chaque marqueur réfléchissant placé sur le grimpeur et la restituent dans un modèle 3D. La combinaison de ces données permet l'étude de la capacité motrice, de la coordination, du schéma mental et d'appui des grimpeurs. À terme, ce prototype servira de…

Photo
20230013_0015
Étude du mouvement d'un grimpeur sur un prototype de mur d'escalade de vitesse miniaturisé
20230013_0006
Open media modal

Mesure des mouvements de traction d'un grimpeur et analyse de sa performance en puissance et en coordination. Les prises horizontales en bois sur lesquelles le grimpeur se suspend à la force de ses bras, permettent de mesurer la puissance musculaire avec laquelle il se propulse en hauteur. Les graduations servent de points de repères pour le grimpeur, afin d'avoir un objectif à atteindre. Des caméras disposées autour du mur d'escalade enregistrent la position de chaque marqueur réfléchissant et…

Photo
20230013_0006
Mesure des mouvements de traction d'un grimpeur et analyse de sa performance
Open media modal

Only available for non-commercial distribution

Pas de cession par extrait

Episode 33: Even though confined, like all French people, the Zeste de Science team is mobilising to continue its mission of popularising science (and entertainment!) in this particularly difficult period for our loyal subscribers. In this special video made in accordance with the confinement measures, we discuss drones, which may soon no longer need us to fly around...

Video
6996
Drones : Independence Day ZdS#33
Open media modal

Only available for non-commercial distribution

From the research lab... to the game room! A team of robotics scientists has developed powerful algorithms that secure drone flights so well that anyone can fly them without risking a crash. The tech startup Drone Interactive tapped into the basic science led at the GIPSA-Lab in the French Alps where researchers and engineers are working hard on creating the future of flying robots.

Video
6840
Flying Robots
Open media modal

Only available for non-commercial distribution

If we are to one day communicate naturally with robots, they will need to master not only speech, but also the subtle yet essential rules of non-verbal communication such as posture and eye movement. A team of researchers is using machine-learning techniques to teach those skills to Nina, their humanoid robot.

Video
6585
Through Nina's eyes
Open media modal

Portrait de Pierre Comon lauréat de la Médaille d'Argent 2018 du CNRS. Directeur de recherche au sein du GIPSA-Lab (Délégation Alpes), il est spécialiste en conception d'outils théoriques et en développement d'algorithmes pour extraire des informations cachées dans des données. En 2013, il obtient une bourse ERC Advanced Grant pour le projet DECODA consacré au développement de méthodes tensorielles pour la science des données, et leurs applications à la santé et l'environnement.

Video
6595
Médaille d'Argent 2018 : Pierre Comon, chercheur CNRS en science de données
20170135_0005
Open media modal

Démonstrateur d’interface cerveau-machine Brain Invaders. Inspiré du jeu vidéo Space Invaders, ce programme est piloté exclusivement par "butinage attentionnel" soit par la pensée, sans manette. Doté d'un casque dont les électrodes sont principalement situées au niveau du cortex visuel et central pariétal, le joueur doit se concentrer sur l’objet qui émet des flashs lumineux afin de l'éliminer. Le signal cérébral correspondant à la perception du flash (stimuli) généré dans le jeu est une onde…

Photo
20170135_0005
Démonstrateur d’interface cerveau-machine Brain Invaders
20170135_0041
Open media modal

Robot Humanoïde Nina, piloté par un chercheur depuis une autre salle. Ce dernier est équipé d'un casque de réalité virtuelle, de capteurs autour de la bouche mais aussi de capteurs du regard et des mouvements de tête. Il parle face à un microphone et des caméras dédiées à la capture de mouvement. Le chercheur voit en stéréo à travers les yeux du robot, équipés de caméras et entend en stéréo grâce aux microphones dans les oreilles de Nina. Le petit robot reproduit ainsi en temps réel tous les…

Photo
20170135_0041
Robot Humanoïde Nina, piloté par un chercheur depuis une autre salle
20170135_0024
Open media modal

Réglage de drones fonctionnant en pilotage immersif, équipés de caméras à transmission vidéo reliées à des lunettes immersives portées par des expérimentateurs ou à un écran de contrôle. Les caméras sont placées de façon à filmer l'équivalent du poste de pilotage. Les drones sont pilotés via une manette et de manière intuitive grâce à un algorithme permettant de simplifier les commandes. Cet algorithme corrige également la trajectoire pour éviter les collisions et maintenir le drone dans l…

Photo
20170135_0024
Réglage de drones fonctionnant en pilotage immersif
20170135_0035
Open media modal

Capteurs de mouvements labiaux autour de la bouche d'un chercheur. Ces capteurs, associés à un casque de réalité virtuelle doté de capteurs du regard et de mouvements de la tête, à un microphone, mais aussi à des caméras dédiées à la capture de mouvement vont permettre au robot Nina de reproduire en temps réel tous les gestes, expressions faciales et mots prononcés par le chercheur. Ce dernier voit en stéréo à travers les yeux du robot, équipés de caméras et entend en stéréo grâce aux…

Photo
20170135_0035
Capteurs de mouvements labiaux autour de la bouche d'un chercheur
20170135_0010
Open media modal

Démonstrateur d’interface cerveau-machine Brain Invaders. Inspiré du jeu vidéo Space Invaders, ce programme est piloté exclusivement par "butinage attentionnel" soit par la pensée, sans manette. Doté d'un casque dont les électrodes sont principalement situées au niveau du cortex visuel et central pariétal, le joueur doit se concentrer sur l’objet qui émet des flashs lumineux afin de l'éliminer. Le signal cérébral correspondant à la perception du flash (stimuli) généré dans le jeu est une onde…

Photo
20170135_0010
Démonstrateur d’interface cerveau-machine Brain Invaders
20170135_0046
Open media modal

Interactions du robot Nina avec un chercheur, autour d'un jeu de cubes. Dans cette expérience, le robot humanoïde donne des consignes à son partenaire humain, en regardant et en pointant les cubes, tout en se synchronisant avec la parole et les actions de la personne. Nina agit de manière autonome et naturelle suite à une phase de pilotage, répétée un grand nombre de fois. Un chercheur muni de capteurs l'a dirigée pour qu'elle enregistre les mouvements subtils de l’interaction face-à-face …

Photo
20170135_0046
Interactions du robot Nina avec un chercheur, autour d'un jeu de cubes

CNRS Images,

Our work is guided by the way scientists question the world around them and we translate their research into images to help people to understand the world better and to awaken their curiosity and wonderment.