Symbiotic Human and Multi-Robot Planetary Exploration Systems

L’exploration spatiale, la frontière finale, manque de capacités validées de systèmes multirobots avec humain dans la boucle pour découvrir nos origines. À ce jour, juillet 2024, les missions d’exploration n’ont pas démontré de capacités autonomes de multi-robots en dehors de la Terre, malgré les récents progrès dans le développement de l’autonomie robotique. Les systèmes humains-multi-robots, en particulier, sont encore moins explorés dans des scénarios réalistes d’exploration planétaire et des lacunes subsistent dans la compréhension de la manière dont les humains et les robots peuvent collaborer efficacement et synergiquement. L’exploration planétaire et le secours en cas de catastrophe impliquent des environnements potentiellement dangereux qui limitent l’accès humain et nécessitent de nouveaux paradigmes d’interaction qui s’éloignent du paradigme de "une mission un robot". Les objectifs globaux de la recherche de la dissertation sont (i) La définition de protocoles de collaboration entre humains et robots visant l’exploration d’environnements inconnus avec des équipes multi-robots. (ii) La mise en oeuvre d’une architecture logicielle et des outils nécessaires pour réduire la charge de travail dans les systèmes humains et multi-robots. (iii) La création d’une interface intuitive pour le système robotique permettant un contrôle et une interaction efficaces avec une formation minimale et une faible surcharge cognitive pour un seul superviseur humain. (iv) La validation de nos approches à travers des exercices réalistes d’exploration et de secours en cas de catastrophe. Ces objectifs sont abordés par la présentation de trois articles cohérents se concentrant sur le développement et le déploiement de technologies d’assistance pour les systèmes autonomes, la conception d’interfaces et leur intégration et validation avec les facteurs humains dans le contexte de l’exploration et de la recherche et sauvetage. Les contraintes de temps et de risque peuvent introduire des défis supplémentaires pour les superviseurs humains de systèmes multi-agents. En considérant des capacités d’autonomie de plus en plus opaques et des systèmes robotiques complexes, nous introduisons un assistant d’autonomie appelé Copilot MIKE pour explorer des terrains extrêmes dans le premier article. Copilot MIKE vise à réduire la charge de travail de l’opérateur en (1) fournissant une conscience situationnelle par rapport aux équipes de robots et à l’environnement; (2) surveillant activement les aspects clés de l’avancement de la mission; (3) apportant un soutien aux processus de prise de décision concernant la planification et la programmation des tâches; et (4) aidant à créer une infrastructure de réseau de communication et à coordonner le déploiement des noeuds de communication pour construire une dorsale de communication. Les résultats préliminaires de simulation indiquent que la charge de travail globale de l’humain dans la boucle a diminué, tandis que la concentration du superviseur humain a augmenté pour exécuter des tâches pendant les phases de préparation et d’exploration d’une mission. Alors que de nombreux systèmes multi-agents sont traditionnellement déployés dans des environnements contrôlés et structurés permettant des tests structurés (par exemple, les entrepôts), le DARPA Subterranean Challenge (SubT) visait divers types d’environnements souterrains inconnus qui imposaient le risque de perte de robots en cas d’échec. Dans le deuxième article, nous introduisons une interface inspirée des jeux vidéo ainsi qu’un assistant de mission autonome qui répond aux lacunes du premier prototype. Nous testons et déployons ensuite le système en utilisant un système multi-agents hétérogène dans des environnements complexes. Ce travail a abouti à une amélioration du contrôle supervisé par l’humain pour un système multi-agents, tout en réduisant la surcharge liée au basculement d’application, à la planification, à l’exécution et à la vérification des tâches. De plus, cette plateforme de collaboration humain-systèmes autonomes a augmenté le temps d’exploration disponible pour les agents déployés, ce qui a conduit à des zones explorées plus vastes. Les paradigmes d’interaction, les approches et les interfaces introduits dans ce travail ont été testés sur le terrain lors du SubT et d’une mission analogue sur Mars de la NASA BRAILLE. Lors des tests préliminaires, le système a été déployé avec jusqu’à 11 robots supervisés simultanément par un seul humain. Des lacunes subsistent dans la compréhension de la manière dont l’autonomie et la conception des interfaces s’intègrent aux facteurs humains et aux performances lors de missions d’exploration à grande échelle. Le troisième article examine des équipes composées de deux robots (semi-)autonomes et d’un seul superviseur humain utilisant nos interfaces. Le système a été déployé dans des grottes au Monument National des Lava Beds (Californie du Nord) et lors d’une étude à facteurs croisés 2x2 entre sujets à Polytechnique Montréal, explorant à la fois des grottes réelles et simulées. Nous avons obtenu des résultats comprenant 38 participants qui ont évalué l’influence de l’autonomie (points de passage vs. autonomie complète avec interventions) et des interfaces (écran vs. réalité virtuelle) sur la charge de travail, la conscience situationnelle et la performance lors d’une mission d’exploration scientifique. Nous constatons que les mesures physiologiques continues correspondent aux métriques NASA TLX pour les différentes modalités d’interface. La condition des points de passage en réalité virtuelle donne le plus faible nombre de cibles scientifiques détectées, tandis que toutes les autres conditions obtiennent des niveaux de performance similaires. La conscience situationnelle, évaluée par les mesures de précision de la Méthode d’Évaluation de la Présence Situationnelle (SPAM), donne environ 90% de précision pour les deux interfaces. Les résultats collectifs de ces trois articles fournissent de nouveaux paradigmes d’interaction, des approches pour concevoir des interfaces à faible charge cognitive, un modèle du monde cyber-physique en temps réel en réalité virtuelle, et des apprentisages sur l’interaction entre la conscience situationnelle, la charge de travail et la performance, validés lors de missions d’exploration planétaire.