Reconnaissance de la gestuelle statique de la main par apprentissage profond pour des plateformes interactives de procédés de fabrication

Les procédés de fabrication tels que l’ébavurage ou le polissage sont des tâches de parachèvement qui peuvent être longues et fastidieuses à réaliser pour les ouvriers. De nombreuses industries utilisent des robots pour réaliser ces tâches mais cela nécessite le réglage de paramètres que seuls les ouvriers avec leur expertise peuvent gérer. Nous proposons une méthode de communication entre le robot et l’opérateur pour que le réglage de ces paramètres soit le plus simple et efficace possible. Cette communication se fait avec les gestes de la main, ce qui permet également à l’opérateur de montrer directement les zones qui doivent être retouchées sur la pièce à parachever. Notre solution utilise un système multi-caméra RGB-D : 6 caméras sont réparties dans la cellule cobotique où le robot et l’ouvrier vont collaborer pour corriger les pièces. Nous avons développé un pipeline composé d’un modèle de détection de la main dans une image et d’un modèle de reconnaissance par classification de la gestuelle de la main. Nous avons testé ces modèles séparément et en chaîne, sur une base de données publique et détenons une meilleure performance sur ces données que l’article original. Cependant, cette base de données a été créée dans un contexte idéal, sans occlusion et avec une faible variabilité de points de vues. C’est pourquoi nous avons créé une nouvelle base de données, plus large, avec plusieurs caméras qui multiplient les angles de vues et la présence d’un robot qui crée des occlusions. Nous montrons que la base de données publique ne permet pas d’entraîner des réseaux suffisamment robustes pour des cas réels. Nous montrons également que l’utilisation d’un système multi-caméra permet d’améliorer la robustesse du réseau et de le rendre plus performant.

Abstract

Manufacturing processes such as deburring or polishing are finishing tasks that can be timeconsuming and tedious for workers. Many industries use robots to carry out these tasks, but this requires the setting of parameters that only workers with their expertise can manage. We propose a method of communication between the robot and the operator to make the parameters settings as simple and efficient as possible. This communication is envisionned through hand gestures, which also enables the operator to show the areas to be corrected directly on the part to be finished. Our solution uses a multi-camera RGB-D system: 6 cameras are distributed in the cobotic cell where the robot and the operator work together to correct the parts. We have developed a pipeline composed of a hand detection model followed by a hand gesture recognition model. We have tested the models separately and in series, on a public database and found it to perform better than the state of the art on the same dataset. However, this dataset was created in an ideal context, with no occlusion and little variability in viewing angles. This is why we have create a new and richer database with several cameras that multiply the angles of view and the presence of a robot that creates occlusions. We show that the existing database cannot be used to train networks that are sufficiently robust for real contexts. We also show that the use of a multi-camera system improves the robustness of the network and makes it more efficient.