Event-based Perception with Structured Light

La précision d’un robot mobile dans la perception de son environnement est étroitement liée à la méthode utilisée pour mesurer les distances relatives. Il est crucial d’utiliser un dispositif de mesure 3D rapide et robuste si un robot en mouvement rapide utilise ces données pour créer une carte de la zone tout en se localisant simultanément (SLAM1). Parmi les méthodes de reconstruction environnementale 3D de pointe, les approches basées sur la vision ont été largement développées. Les caméras RGB et RGB-D sont peu coûteuses et couramment utilisées en robotique. Cependant, elles présentent des limitations inhérentes : elles nécessitent un bon éclairage, souffrent de flou de mouvement, ont une plage dynamique relativement faible (pouvant entraîner une saturation en cas de changements de conditions d’éclairage) et peuvent nécessiter une large bande passante en fonction de la résolution et de la fréquence d’image. Pour pallier ces limitations, des capteurs tels que le Light Detection And Ranging (LiDAR) et les caméras événementielles ont été introduits. Les dispositifs LiDAR émettent un rayonnement laser sur la scène et capturent les signaux réfléchis pour obtenir une représentation 3D de l’environnement, déterminant ainsi les distances des points en 3D. Malgré leur grande précision, les LiDAR ne capturent pas de données couleur et ne peuvent pas ajuster dynamiquement le compromis entre détail, précision et vitesse. Leur faible densité de sortie limite la capacité à obtenir des données plus denses sans augmenter le temps de mesure. Les caméras événementielles (ECs) sont des capteurs bio-inspirés qui détectent les mouvements rapides et les changements de luminosité de manière asynchrone, similaire à l’oeil humain. Bien que les ECs ne capturent pas d’images complètes, elles peuvent détecter le mouvement beaucoup plus rapidement que les capteurs RGB standard, ce qui les rend précieuses pour les projets nécessitant une détection rapide des mouvements. En raison de leurs avantages, les ECs sont particulièrement utiles pour les mesures rapides de profondeur 3D. Cependant, elles ne fournissent pas de données dans des situations statiques. L’objectif est d’introduire une méthode capable de générer des nuages de points colorés avec des compromis variables de vitesse et de résolution pour créer des cartes de profondeur dans des environnements difficiles (dynamiques et faiblement éclairés), même lorsque la caméra (ou l’objet cible) est stationnaire. Cette recherche présente une méthode utilisant une caméra événementielle et un projecteur 1Simultaneous Localization And Mapping Digital Light Processing (DLP) pour capturer des événements dans l’espace 3D. Le projecteur DLP projette des motifs de lumière structurée sur la scène, variant en type, fréquence et couleur/longueur d’onde. La caméra événementielle capture les réflexions de ces motifs, permettant la création de nuages de points 3D basés sur la triangulation. Cette configuration permet également de capturer la couleur de la scène simultanément, produisant un nuage de points coloré. Le commutation dynamique des motifs projetés permet de contrôler la bande passante. Le système bénéficie de l’utilisation d’une caméra monochrome haute résolution et peut incorporer des données couleur au besoin. En utilisant cette configuration, nous avons atteint des vitesses de balayage couleur jusqu’à 1,4 kHz et des balayages de profondeur basés sur les pixels jusqu’à 4 kHz, résultant en un flux d’événements marqués avec couleur et profondeur, ainsi que des images et une sortie de nuage de points coloré. Cette méthode est applicable dans diverses conditions environnementales, qu’elles soient statiques ou dynamiques. Elle offre des mesures 3D haute résolution comparables aux LiDAR (dans la plage du millimètre), avec des vitesses de mesure plus rapides (capturant des événements en microsecondes) et inclut de manière cruciale des données couleur. Elle offre également un contrôle sur les compromis de résolution et de vitesse d’acquisition.