Guidage tactile du manipulateur mobile TOMM : peau robotique contre joystick

Vue d’ensemble

Peut-on commander un robot recouvert de peau artificielle en le touchant, et est-ce préférable à un joystick ? J’ai étudié cette question lors d’un séjour Erasmus+ d’un mois à l’Institute for Cognitive Systems (ICS) de la Technical University of Munich, dans l’équipe du Pr Gordon Cheng. Nous avons construit une interface gestuelle corps entier sur TOMM, le manipulateur mobile à deux bras de l’ICS, et l’avons comparée à un joystick dans une étude intra-participants menée auprès de 12 utilisateurs novices ^[1].

Un participant poussant à deux mains les bras de TOMM recouverts de peau, et le robot portant une boîte entre ses mains Un participant déplace TOMM de la table 1 à la table 2 pendant qu’il tient la boîte ; faire tourner la base se fait par un toucher prolongé en deux endroits de la peau.

Système

Composant	Spécification
Robot	TOMM : deux bras UR5 sur une base omnidirectionnelle holonome, environ 15 ddl au total
Peau robotique	Peau artificielle modulaire grande surface sur les bras ; chaque cellule mesure la proximité $p$ et la force $f$
Intensité de contact	$I = 0.7p + 0.3f$ , normalisée dans $[0,1]$ par le micrologiciel ; les contacts sont regroupés en centroïdes et en torseurs
Fréquences	Peau à 100 Hz, pile de commande à 200 Hz
Contrôleur	Admittance $M\ddot{\mathbf{x}} + D\dot{\mathbf{x}} + K\mathbf{x} = \mathbf{F}_{tactile}$ avec $M = I_{6\times6}$ , $D = 2I_{6\times6}$ , $K = 0$
Couplage bimanuel	Un repère de boîte virtuel entre les effecteurs terminaux ; les deux mains le suivent par des transformations fixes et restent face à face

Vocabulaire gestuel

Des événements discrets font basculer les états du contrôleur ; les contacts prolongés deviennent des torseurs continus qui pilotent la dynamique d’admittance.

Geste	Où	Effet
Double tape	Épaule	Basculer entre le mode base et le mode manipulation
Double tape	Avant-bras	Saisir / relâcher
Contact unique prolongé	N’importe quelle zone de peau	Translation uniquement (base : $F_x, F_y$ avec $\tau_z = 0$ ; manipulation : repère de la boîte en X, Y, Z)
Deux contacts prolongés	Deux zones distinctes	Lacet de la base uniquement ( $F_x = F_y = 0$ )

Un seuillage de l’amplitude, des exigences de persistance, des périodes réfractaires et des fenêtres spatio-temporelles de double tape permettent de rejeter les touchers accidentels.

Référence : le joystick

Le joystick pilotait le même contrôleur d’admittance et la même logique discrète : seule l’interface changeait. Une différence compte : les axes du joystick permettent de combiner translation et lacet de la base, alors que l’interface tactile les place dans des gestes mutuellement exclusifs.

Méthode

Participants : N = 12 (6 femmes, 6 hommes), âge 28,6 ± 8,4 ans, majoritairement issus de filières scientifiques et techniques ; 8 avaient déjà une expérience de la robotique.
Plan expérimental : intra-participants, ordre contrebalancé (joystick contre toucher), sans phase d’entraînement distincte, consignes orales avant chaque session.
Tâche : aller à la table 1, saisir une boîte à deux mains, la transporter jusqu’à la table 2 (environ 180° de réorientation de la base) et la relâcher.
Phases annotées sur vidéo : trajet vers la table 1, saisie de la boîte, trajet vers la table 2, dépose de la boîte, plus « Autre » (récupération ou inactivité).
Mesures : durées des phases et erreurs d’interaction ; distance parcourue par le participant à partir de deux caméras RealSense D435i avec estimation de pose MediaPipe et fusion 3D multi-vues ; journaux système ; charge de travail (NASA-TLX) ; questionnaires en 7 points sur le contrôle, la prévisibilité, le confort, la confiance et le plaisir ; test de rappel des commandes après l’expérience.

Résultats

À la première exposition, le joystick était plus rapide et moins exigeant. La pénalité du toucher se concentrait dans les phases de saisie et de transport.

Durée médiane des deux phases où la pénalité du toucher est la plus forte, et de la tâche entière. Intervalles interquartiles (joystick contre toucher) : saisie 16,8–26,1 contre 22,7–61,9 s, trajet vers la table 2 33,9–45,4 contre 53,3–83,7 s, total 81,6–105,7 contre 141,1–177,2 s. Durée totale : Wilcoxon W=0, p<.001 (p corrigé de Holm = 0,004), r_rb=1,00.

Les participants ont parcouru une médiane de 44,6 m avec le toucher contre 15,5 m avec le joystick (p_Holm = 0,007), en se déplaçant autour du robot pour atteindre la bonne zone.

Deux cartes de chaleur de la position des participants : concentrée en un endroit avec le joystick, répartie autour du robot avec le toucher Position cumulée du participant pendant la tâche : centrée au joystick (à gauche), très répartie avec le guidage tactile (à droite).

Scores médians des sous-échelles NASA-TLX (0–100, plus élevé = pire). Seules l’exigence mentale (p corrigé de Holm = 0,037), l’exigence physique (0,044) et la frustration (0,016) restent significatives après correction ; l’exigence temporelle, la performance et l’effort ne le sont pas (0,178, 0,141, 0,178). IQR (joystick contre toucher) : mentale 5,0–25,0 contre 20,0–56,2 ; physique 0,0–12,5 contre 5,0–55,0 ; temporelle 0,0–21,2 contre 11,2–41,2 ; performance 0,0–12,5 contre 17,5–37,5 ; effort 7,5–21,2 contre 10,0–37,5 ; frustration 0,0–15,0 contre 13,8–51,2.

Les tailles d’effet distinguent les grandes différences des différences nulles : le contrôle, la frustration, l’exigence mentale et les mesures temporelles varient fortement, tandis que le plaisir et les changements de côté ne bougent presque pas.

Ampleur de chaque différence toucher contre joystick, triée. Le r_rb (corrélation bisériale par rangs) est donné pour les tests de Wilcoxon (durée totale, trajet vers la table 2, exigence physique, distance parcourue, prévisibilité, saisie, exigence temporelle, erreurs, effort, confiance, intuitivité, changements de côté, plaisir) et le d_z de Cohen pour les tests t appariés (contrôle, frustration, exigence mentale, performance, confort, vitesse, distances) ; les deux échelles ne sont pas strictement comparables et les signes sont omis. Seules huit différences survivent à la correction de Holm (p<0,05) : durée totale, trajet vers la table 2, saisie, distance parcourue, exigence mentale, exigence physique, frustration et contrôle/influence. Le plaisir et les changements de côté ne montrent pratiquement aucune différence.

Un résultat joue en faveur du toucher : les commandes ancrées sur le corps du robot étaient mieux mémorisées.

Part des commandes correctement rappelées lors du test final : moyenne 54 % (joystick) contre 73 % (toucher), médiane 50 % contre 75 %. Wilcoxon apparié W=37,5, p=0,049, r=0,67 ; cette valeur de p n’est pas corrigée, il s’agit donc d’une tendance.

Remarque
Un petit essai de référence avec des experts (deux experts, trois essais par interface) a donné des médianes de 52,37 s avec le joystick et de 61,00 s avec le toucher. L’écart est bien plus faible que pour les novices, ce qui suggère qu’une grande partie de la pénalité provient de frictions procédurales et de la gestion des états plutôt que du toucher lui-même.

Discussion

Implications pour la conception

Rendre l’état du robot transparent : indices visuels ou sonores persistants pour le mode actif.
Traiter l’emplacement des zones tactiles comme une variable de conception : zones clés plus grandes ou dupliquées, et zones tolérantes qui associent un geste approximatif à la commande visée.
Intégrer les primitives d’interaction : séparer plus nettement le guidage continu des commandes discrètes, et prendre en charge les mouvements combinés comme la translation avec rotation.

Attention
Il s’agit d’une étude pilote : 12 participants techniquement expérimentés, aucune phase d’entraînement (ce qui avantage le joystick, plus familier), une seule géométrie de tâche, et un essai de référence avec seulement deux experts. Les résultats sont des tendances pour une première utilisation, et non un verdict sur les interfaces tactiles.

Publications

ArticleTactile Guidance for Complex Mobile Manipulation: Performance and Design ImplicationsAdnan Saood, Gordon ChengUnder review · 2026

Voir aussi

Références

Adnan Saood, Gordon Cheng. Tactile Guidance for Complex Mobile Manipulation: Performance and Design Implications. Under review, 2026.