Multi-Camera Calibration and Real-Time Pose-Guided View Selection for Supervision of Human-Robot Interaction

Ce mémoire présente une approche fondée sur la vision pour améliorer l’interaction hommerobot dans des environnements industriels collaboratifs, en s’appuyant sur un système multicaméras RGB-D. Réalisée dans une cellule cobotique de parachêvement, équipée de six caméras Intel RealSense D455 synchronisées, l’étude aborde trois défis principaux : la calibration des caméras, l’estimation robuste de la pose de l’opérateur humain, et la sélection adaptative des vues de caméras. Premièrement, un cadre de calibration a été mis en place en utilisant une mire pour effectuer la calibration intrinsèque et extrinsèque stéréo. La précision du calibrage a été évaluée à l’aide de l’erreur quadratique moyenne de reprojection (MSE), après une optimisation non linéaire. Les résultats obtenus ont permis de dégager des pistes d’amélioration avant une utilisation de ces matrices pour la reconstruction 3D. Deuxièmement, l’estimation de la pose humaine a été étudiée à travers une comparaison entre les frameworks OpenPose et MediaPipe sur un petit jeu de données en haute résolution. Bien que MediaPipe fournisse une structure de points clés plus détaillée, sa complexité computationnelle plus élevée limite son utilisation en traitement temps réel multi-caméras. La version allégée d’OpenPose propose un meilleur compromis entre efficacité et précision des points clés, ce qui en fait le modèle le plus adapté pour cette application. Troisièmement, une stratégie de sélection de caméras a été mise en oeuvre à l’aide d’un classifieur Random Forest. En extrayant des caractéristiques de confiance à partir des points clés détectés, le modèle a permis de sélectionner efficacement l’ensemble de caméras le plus informatif sur la pose de l’opérateur, pour chaque image. L’évaluation en validation croisée leave-one-out a montré d’excellentes performances, avec une précision moyenne de 94,99 %, une précision de 92,3 %, et un rappel parfait de 100 %. Dans l’ensemble, le système proposé offre une chaîne de perception évolutive et réactive pour les systèmes robotiques collaboratifs. Ce travail propose une méthodologie robuste pour la calibration multi-caméras et la sélection de vues basée sur la pose de l’opérateur, avec des applications potentielles dans des environnements industriels réels.