Tous les articles

Lire une main humaine en une seule prise avec une peau robotique à 90 taxels

Quand on serre la main de quelqu’un, on apprend beaucoup en moins d’une seconde : la taille de sa main, la fermeté de sa prise, son hésitation ou sa confiance. Les robots censés toucher des personnes, pour les saluer, les aider à se lever ou leur tendre des objets, n’apprennent le plus souvent rien de tout cela. Leurs mains sont soit aveugles, soit limitées à quelques couples articulaires.

Je voulais savoir ce qu’un robot pouvait déduire d’une personne par le seul toucher, sans caméra ni capture de mouvement. J’ai donc construit une peau tactile souple pour une main humanoïde et posé une question simple : si l’on saisit cette main une seule fois, que peut-elle dire de la vôtre ?

Construire une peau souple pour une main humanoïde

La peau est un gant de 90 capteurs de pression adressables individuellement : 14 sur chacun des trois doigts, 10 sur le pouce et 38 sur la paume. Chaque capteur est un petit sandwich résistif. Sur un fin substrat PET se trouvent des électrodes concentriques en cuivre ; au-dessus, une couche de polyoléfine chargée de noir de carbone (Velostat) dont la résistance chute lorsqu’elle est comprimée ; puis une couche de caoutchouc chargé de noir de carbone et une feuille de silicone de 1 mm qui répartit la charge et donne à la surface un toucher souple plutôt que celui d’une carte électronique.

À gauche, la disposition des 90 capteurs de pression dessinés sous forme de petits rectangles regroupés par doigt et par paume ; à droite, le gant tactile assemblé sur la main du robot. À gauche, répartition des 90 capteurs sur les doigts, le pouce et la paume. À droite, le gant assemblé sur la main Meka.

Deux choix de conception ont compté d’un point de vue d’ingénierie. D’abord, les substrats sont flexibles : le réseau suit la géométrie courbe des doigts au lieu de leur imposer des surfaces planes. Ensuite, la détection résistive à base de matériaux courants rend la fabrication accessible : ni salle blanche, ni impression de nanomatériaux. Dans la version publiée, les 90 canaux sont transmis à 1,0 kHz.

Depuis, j’ai perfectionné le capteur : optimisation par éléments finis de la géométrie des électrodes, couches plus fines, silicone moulé et nouvelle chaîne de lecture sous ROS 2. Cette conception est décrite dans un article actuellement en cours d’évaluation ; je ne présente donc ici que le matériel et je réserve ses résultats pour après l’acceptation.

Deux photos d’une main de robot recouverte du gant tactile : à gauche, elle serre un tube en carton, avec la carte de lecture et les câbles plats visibles ; à droite, vue de côté de la main. La version actuelle du gant sur une main de robot, serrant un cylindre (à gauche) et vue de côté (à droite), avec la carte de lecture sur circuit imprimé flexible. Matériel issu de l’article sur le capteur, en cours d’évaluation.

Transformer la pression en images

Pour l’étude publiée à l’ICSR 2025 [1], le gant a été monté sur la main d’un humanoïde Meka M3. La main restait immobile ; c’est la personne qui la saisissait. Dix-neuf participants, étudiants et personnels de l’Institut Polytechnique de Paris, ont chacun saisi la main du robot trois fois : doucement, de façon neutre et fermement, pendant environ 3 à 5 secondes à chaque fois. Auparavant, nous avions mesuré la largeur de main, le tour de paume et la hauteur de main de chacun.

L’étape clé a été de cesser de voir les données comme 90 nombres pour les traiter comme une image. Chaque capteur occupe une position physique sur la main, de sorte que chaque mesure peut être placée à cet endroit dans une image en niveaux de gris de 21×17. Une prise ressemble alors à une carte de pression : où la paume a touché, quels segments de doigts ont été sollicités, comment le contact s’est étendu. Or les images sont précisément ce que savent bien traiter les réseaux de neurones convolutifs.

Pour la taille de la main, j’ai additionné les trois mesures en un score de taille et réparti les participants en tiers : Petite, Moyenne et Grande. Dix trames représentatives par participant ont donné 190 images de pression. Un petit CNN (trois couches convolutives, puis deux couches entièrement connectées) a été entraîné sur 60 % d’entre elles et testé sur les 40 % restantes.

Pour la force de préhension, la question relève autant du temps que de l’espace ; j’ai donc utilisé un autre outil. Le signal à 90 canaux a été découpé en fenêtres de 35 trames, glissant par pas de 10 trames. Pour chaque capteur et chaque fenêtre, j’ai calculé cinq statistiques (moyenne, écart-type, étendue, médiane et variance), et un classifieur des k plus proches voisins a attribué à chaque fenêtre l’étiquette Douce, Normale ou Agressive.

Ce qui a fonctionné, et ce qui n’a pas fonctionné

Taille de la main : Petite/Moyenne/Grande, CNN sur images de pression 21x17, partition 60/40. Force de préhension : Douce/Normale/Agressive, k plus proches voisins sur statistiques de fenêtres, partition 70/30. Ligne en pointillés : 33,3 %, niveau du hasard pour trois classes équilibrées.

La taille de la main a été un net succès. Le CNN a atteint 96 % d’exactitude sur l’ensemble de test. Tout aussi parlant est la manière dont il s’est trompé sur les trames restantes : chaque erreur tombe dans la classe voisine. Il n’a jamais pris une petite main pour une grande.

Prédictions du CNN de taille de main (Petite / Moyenne / Grande) sur l’ensemble de test, 76 trames, 96 % d’exactitude (73 sur 76). Valeurs relevées sur la figure publiée ; les lignes correspondent à la classe réelle et les colonnes à la classe prédite. Chaque erreur tombe dans la classe voisine.

Détailler la matrice par classe montre où se situe la difficulté : quelques grandes mains ont été lues comme moyennes.

Calculé à partir des valeurs de la matrice de confusion (26/27, 25/25, 22/24 pour le rappel ; 26/26, 25/28, 22/22 pour la précision), arrondi à 0,1, les lignes correspondant à la classe réelle. Seulement 76 trames de test : une trame fait varier une valeur d’environ 4 points.

La force de préhension s’est révélée plus difficile : 68 % d’exactitude sur trois classes. C’est bien au-dessus du hasard, mais loin d’être fiable, et la plupart des erreurs ont opposé les classes Douce et Normale. Rétrospectivement, cela n’a rien d’étonnant. Les étiquettes étaient subjectives : la prise « normale » de l’un est la prise « douce » d’un autre, et le classifieur voyait des statistiques de fenêtres plutôt que la forme de la prise dans le temps. La taille de la main est une propriété fixe d’une personne et se lit clairement dans l’endroit où s’exerce la pression ; l’intensité de la prise est un comportement et se lit dans la manière dont la pression évolue.

Important

Les seules données tactiles passives ont suffi pour classer la taille de la main d’une personne avec 96 % d’exactitude. L’intensité de la prise, comportement subjectif et temporel, a atteint 68 % et appelle des modèles temporels.

Le point de vue des participants comptait aussi. Ils ont souligné la souplesse et la réactivité du gant, et 72,2 % se sentaient en confiance pour interagir avec lui. Mais 42,5 % ont signalé une certaine gêne, surtout parce que la taille et la forme de la main Meka ne convenaient pas à leur main, et seuls 29 % ont eu l’impression de tenir une main humaine. Une bonne peau ne compense pas une main aux proportions inadaptées.

Pourquoi c’est important

Un robot qui connaît la taille de la main qu’il tient peut calibrer sa propre prise : assez ferme pour paraître engagé, assez douce pour ne pas risquer de blesser une main petite ou fragile. C’est la base d’une poignée de main personnalisée, et la même logique s’applique à la robotique d’assistance, où un robot aide quelqu’un à se lever, à marcher ou à saisir un objet, ainsi qu’à la sécurité de tout contact physique, où la distribution de pression est un signal plus direct que le couple articulaire.

Il y a aussi un intérêt industriel. Déduire la main de quelqu’un par la vision ou le suivi de mouvement exige une vue dégagée sur une main qui, pendant le contact, est refermée sur celle du robot. Une peau tactile mesure le contact lui-même, sans exigence de ligne de visée. Et le matériel repose sur des matériaux et des procédés accessibles, ce qui compte si l’on veut que les mains tactiles quittent le laboratoire.

Limites et perspectives

Attention

Dix-neuf participants issus d’une seule institution constituent un échantillon réduit et homogène. Les classes de taille sont des tiers de cet échantillon, et non des normes de population, et les 96 % proviennent de 76 trames de test.

Les prochaines étapes découlent de ce qui n’a pas fonctionné : des modèles temporels tels que les LSTM ou les CNN temporels pour la dynamique de la prise, davantage de participants et plus diversifiés, et une main de robot plus fidèle à l’anatomie. Au-delà de la main, le même type de peau pourrait recouvrir d’autres parties du corps comme l’avant-bras, le torse ou le dos, ainsi que d’autres préhenseurs.

L’étape qui a suivi cette étude a consisté à faire serrer la main activement par le robot plutôt qu’à la lui faire saisir. Nous avons étudié ce qui rend une telle poignée de main naturelle, en termes de compliance, de prise et de synchronie, dans notre article ICRA 2026 [2]. Le gant perfectionné vise précisément ce type de contact dynamique ; j’en dirai plus une fois son article accepté ; la référence complète du capteur se trouve sur la page du projet de matrice tactile.

Références

  1. Adnan Saood, Adriana Tapus. Human Hand Shape and Grasping Behavior Estimation using a Humanoid Hand with a Tactile Interface. 17th International Conference on Social Robotics (ICSR 2025), Springer, 2025.
  2. Adnan Saood, Adriana Tapus. Contributing Factors in Human-Robot Handshake: Compliance, Hand Grip, and Synchrony. 2026 IEEE International Conference on Robotics and Automation (ICRA 2026), 2026.