MuViH: Multi-View Hand gesture dataset for hand and gesture recognition

L'ensemble de données Multi-View Hand gesture (MuViH) est constitué d'images RGB-D et d'annotations de participants effectuant divers gestes de la main dans un environnement de type industriel. Notre objectif est de fournir un ensemble d'images adaptées au domaine de la supervision de scènes et de la reconnaissance de gestes appliquées aux processus de fabrication interactifs utilisant la robotique. Comparé aux ensembles de données disponibles publiquement, l'ensemble de données MuViH offre une plus grande variabilité dans le contenu visuel : arrière-plan changeant selon le point de vue de la caméra, angle de vue et distance variables par rapport à la scène, morphologie des participants, occlusions causées par le robot ou d'autres équipements, position, orientation et pose du participant dans le champ de vision. La collecte de données a eu lieu durant l'été 2023, au Centre de technologies de fabrication en aérospatiale (CTFA) situé à Montréal, au Canada. Au total, 20 personnes ont participé à cette activité. Toutes les acquisitions ont eu lieu dans une cellule cobotique, c'est-à-dire un espace clos contenant un robot industriel. Le fichier 'Overview_MuViH.md' fournit plus de détails sur le jeu de données et comment y accéder. Sont également fournis ici quelques exemples d'images tirées de l'ensemble des données et une illustration du dictionnaire des gestes. (2025-01-20)

Abstract

The Multi-View Hand gesture (MuViH) dataset comprises RGB-D images and annotations of participants performing various hand gestures in an industrial-type environment. Our aim is to provide a set of images tailored to the field of scene supervision and gesture recognition applied to interactive manufacturing processes using robotics. Compared to existing publicly available datasets, the MuViH dataset provides greater variability in the visual content: changing background according to camera viewpoint, variable viewing angle and distance to the scene, morphology of participants, occlusions caused by the robot or other equipment, participant's position, orientation and pose within the field of view. The data collection took place during the summer of 2023, at the Centre de technologies de fabrication en aérospatiale (CTFA) located in Montreal, Canada. In all, 20 individuals participated in this activity. All the acquisitions took place in a cobotic cell, i.e. an enclosed area containing an industrial robot. The file 'Overview_MuViH.md' provides more details on the dataset and how to access it. Also provided here are some sample images from the dataset and an illustration of the gesture dictionary.

Mots clés

Human-robot interaction, Gesture recognition, Hand detection, Multi-view, Reconnaissance gestuelle, Interaction humain-robot