Présentation du projet
C'est l'axe phare actuel de ma thèse : développer un modèle génératif et factorisé des affordances tactiles conditionnées par l'action. Le but est d'apprendre aux robots à prédire et comprendre les sensations tactiles avant et pendant le contact physique, pour une manipulation plus fine, une interaction humain-robot plus sûre et une meilleure compréhension des objets et des surfaces.
L'idée centrale
Plutôt que de traiter les données tactiles comme un flux passif, ce travail pose deux questions : « Quelles sensations tactiles dois-je attendre si j'effectue l'action X sur l'objet Y ? » et « Que me disent ces signaux tactiles sur ce qui se passe ? »
Les idées clés :
- Factorisé : séparer les différentes dimensions de la compréhension tactile (géométrie du contact, propriétés du matériau, dynamique, intention)
- Conditionné par l'action : les prédictions tiennent compte de ce que le robot compte faire, pas seulement de ce qu'il observe
- Génératif : apprendre un modèle capable d'imaginer les sensations tactiles à venir et de les comparer à la réalité
Approche technique
Apprentissage à partir des données
Le modèle est entraîné sur de grands jeux de données d'interactions tactiles, collectés sur la plateforme de main humanoïde avec des actions contrôlées (appuyer, caresser, saisir, relâcher…) sur des objets et matériaux variés.
Représentation multimodale
La factorisation découpe la compréhension tactile en sous-modèles indépendants mais liés :
- Modèle de contact : où et avec quelle profondeur le robot touche-t-il ?
- Modèle de matériau : quelle souplesse, quelle texture, quelles propriétés thermiques ?
- Modèle dynamique : comment forces et vibrations évoluent-elles pendant l'interaction ?
- Modèle d'intention : que cherche à faire le robot ? (saisir, caresser, explorer, pousser)
Inférence en temps réel
Les modèles appris permettent de prédire et d'interpréter les signaux tactiles en ligne, immédiatement, au service du contrôle réactif et de la sécurité.
Applications
- Manipulation dextre : manipuler des objets fragiles avec assurance, en adaptant la prise au retour tactile prédit
- Exploration d'objets : découvrir les propriétés d'un objet par le toucher, sans vision
- Retour haptique : permettre au robot de répondre de façon appropriée pendant l'interaction
- Sécurité : détecter anomalies et situations dangereuses quand le toucher contredit la prédiction
- Collaboration humain-robot : des robots qui anticipent le toucher humain et y répondent justement
État actuel
Le développement du modèle est en cours ; les premiers résultats montrent une généralisation prometteuse, sans exemple préalable, à de nouveaux objets et combinaisons de matériaux. Une publication est en préparation.
Ressources
- Matériel tactile : voir le projet Matrice tactile pour main humanoïde
- Plateforme : main robotique Meka intégrant des capteurs tactiles PaXini