Segmentation de l'opérateur à partir d'images RGB-D pour l'estimation de position dans un environnement de collaboration humain-robot

L’introduction croissante des applications collaboratives en robotique (ou cobotique) dans les environnements industriels modernes bouleverse profondément les méthodes classiques de production. Contrairement aux robots industriels traditionnels, cantonnés à des tâches répétitives programmées en amont et avec des barrières physiques pour des raisons de sécurité, les cobots (robots conçus d’origine pour collaborer avec l’humain) peuvent interagir directement avec les opérateurs humains au sein d’un même espace de travail. Cette cohabitation humain-machine ouvre ainsi la voie à une flexibilité nouvelle ainsi qu’à une efficacité accrue, mais soulève également des enjeux critiques, notamment en matière de sécurité. Certains de ces enjeux sont primordiaux afin de garantir la sécurité de l’opérateur au sein de l’espace de travail, notamment le respect de la distance de séparation entre l’opérateur humain et le cobot. Le respect de la distance de séparation entre l’opérateur humain et le cobot est l’un des enjeux primordiaux de la sécurité au sein de l’espace de travail et constitue donc un défi fondamental. Garantir cette distance en temps réel et de manière fiable est indispensable pour prévenir les collisions accidentelles tout en maintenant un rythme de production fluide. Les approches classiques, souvent basées sur des dispositifs de sécurité périmétriques (barrières physiques, zones d’exclusion, capteurs laser), nécessitant souvent l’arrêt total d’une machine lorsque l’opérateur ou tout autre objet s’approche, s’avèrent insuffisantes dans des contextes où la flexibilité et la mobilité sont essentielles. Dans ce contexte, l’émergence des méthodes d’intelligence artificielle, et en particulier de machine learning et de vision par ordinateur, ouvre de nouvelles perspectives. En exploitant la richesse des données visuelles captées par des caméras RGB-D (couleur et profondeur), il devient possible d’estimer en temps réel la position d’un opérateur dans l’espace, et d’évaluer dynamiquement la distance qui le sépare du cobot. Ce mémoire propose une méthode de supervision automatique de la distance de séparation dans un environnement cobotique, en combinant segmentation par instance et fusion de données multi-caméras. Le fonctionnement peut être décrit en 3 étapes : vi 1. Segmentation de l’opérateur sur les images d’une seule caméra, avec une attention particulière portée sur les cas de séparation visuelle de l’opérateur. 2. Utilisation du masque de segmentation prédit et de l’image de profondeur afin de convertir le masque en un nuage de points. 3. Combinaison des étapes (1) et (2) sur plusieurs caméras et combinaison des nuages de points pour obtenir une représentation multi-vue de l’opérateur dans l’espace de la plateforme cobotique. Enfin, ce nuage de points multi-vue peut être utilisé pour calculer la distance séparant l’opérateur et le cobot, dont la représentation en 3D dans la plateforme cobotique est connue. Cette étape ne sera cependant pas détaillée dans ce mémoire, les données de reprojection des caméras dans le système de coordonnées du cobot n’étant pas encore disponibles. L’intérêt de cette approche réside dans sa capacité à produire une estimation fine de la position de l’opérateur. Elle permet notamment de : — Réduire les angles morts en exploitant des vues multiples. — Adapter dynamiquement la vitesse du cobot (du ralentissement à l’arrêt complet) en fonction du comportement de l’opérateur. — Limiter les interruptions intempestives de production liées à des déclenchements de sécurité parfois injustifiés. Sur le plan industriel, une telle solution pourrait être intégrée dans des systèmes de supervision intelligente des espaces robotisées, en synergie avec des outils d’analyse temps réel ou de pilotage adaptatif répondant à l’esprit des règles de l’art en vigueur.

Abstract

The growing introduction of collaborative robotics applications (or cobotics) in modern industrial environments is profoundly transforming traditional production methods. Unlike conventional industrial robots, which are limited to repetitive tasks programmed in advance and separated by physical barriers for safety reasons, cobots are built to interact directly with human operators within the same workspace. This human-machine coexistence paves the way for new flexibility and increased efficiency but also raises critical challenges, particularly in terms of safety. Some of these challenges are essential to ensure the operator’s safety within the workspace, such as maintaining a separation distance between the human operator and the cobot. Respecting the separation distance between the human operator and the cobot is one of the key safety challenges in the workspace and therefore represents a fundamental issue. Ensuring this distance reliably and in real time is essential to prevent accidental collisions while maintaining a smooth production pace. Traditional approaches, often based on perimeter safety devices (physical barriers, exclusion zones, laser sensors), which typically require a machine to stop completely when an operator or an object approaches, prove insufficient in contexts where flexibility and mobility are crucial. In this context, the emergence of artificial intelligence methods, particularly machine learning and computer vision, offers new perspectives. By leveraging the richness of visual data captured by RGB-D cameras (color and depth), it becomes possible to estimate in real time the position of an operator in space and dynamically assess the distance between them and the cobot. This thesis proposes a method for automatically monitoring the separation distance in a cobotic environment by combining instance segmentation and multi-camera data fusion. The operation can be described in three steps: 1. Segmenting the operator in images from a single camera, with particular attention paid to cases where parts of the operator are visually separated. 2. Using the predicted segmentation mask and the depth image to convert the mask into a point cloud. 3. Combining steps (1) and (2) across multiple cameras and merging the point clouds to obtain a multi-view representation of the operator in the cobotic platform space. viii Finally, this multi-view point cloud can be used to calculate the separation distance between the operator and the cobot, whose 3D representation in the cobotic platform is known. However, this step will not be detailed in this thesis, as the camera reprojection data within the cobot’s coordinate system is not yet available. The value of this approach lies in its ability to produce a fine estimation of the operator’s position. In particular, it allows for: — Reducing blind spots by leveraging multiple views. — Dynamically adjusting the cobot’s speed (from slowing down to complete stop) based on the operator’s behavior. — Limiting unnecessary production interruptions caused by unjustified safety triggers. From an industrial perspective, such a solution could be integrated into intelligent monitoring systems for robotic workspaces, in synergy with real-time analysis tools or adaptive control mechanisms that align with best practices and applicable standards.