Reconnaissance de la gestuelle statique de la main par apprentissage profond pour des plateformes interactives de procédés de fabrication

Les procédés de fabrication tels que l’ébavurage ou le polissage sont des tâches de parachèvement qui peuvent être longues et fastidieuses à réaliser pour les ouvriers. De nombreuses industries utilisent des robots pour réaliser ces tâches mais cela nécessite le réglage de paramètres que seuls les ouvriers avec leur expertise peuvent gérer. Nous proposons une méthode de communication entre le robot et l’opérateur pour que le réglage de ces paramètres soit le plus simple et efficace possible. Cette communication se fait avec les gestes de la main, ce qui permet également à l’opérateur de montrer directement les zones qui doivent être retouchées sur la pièce à parachever. Notre solution utilise un système multi-caméra RGB-D : 6 caméras sont réparties dans la cellule cobotique où le robot et l’ouvrier vont collaborer pour corriger les pièces. Nous avons développé un pipeline composé d’un modèle de détection de la main dans une image et d’un modèle de reconnaissance par classification de la gestuelle de la main. Nous avons testé ces modèles séparément et en chaîne, sur une base de données publique et détenons une meilleure performance sur ces données que l’article original. Cependant, cette base de données a été créée dans un contexte idéal, sans occlusion et avec une faible variabilité de points de vues. C’est pourquoi nous avons créé une nouvelle base de données, plus large, avec plusieurs caméras qui multiplient les angles de vues et la présence d’un robot qui crée des occlusions. Nous montrons que la base de données publique ne permet pas d’entraîner des réseaux suffisamment robustes pour des cas réels. Nous montrons également que l’utilisation d’un système multi-caméra permet d’améliorer la robustesse du réseau et de le rendre plus performant.