Symbiotic Human and Multi-Robot Planetary Exploration Systems

L’exploration spatiale, la frontière finale, manque de capacités validées de systèmes multirobots avec humain dans la boucle pour découvrir nos origines. À ce jour, juillet 2024, les missions d’exploration n’ont pas démontré de capacités autonomes de multi-robots en dehors de la Terre, malgré les récents progrès dans le développement de l’autonomie robotique. Les systèmes humains-multi-robots, en particulier, sont encore moins explorés dans des scénarios réalistes d’exploration planétaire et des lacunes subsistent dans la compréhension de la manière dont les humains et les robots peuvent collaborer efficacement et synergiquement. L’exploration planétaire et le secours en cas de catastrophe impliquent des environnements potentiellement dangereux qui limitent l’accès humain et nécessitent de nouveaux paradigmes d’interaction qui s’éloignent du paradigme de "une mission un robot". Les objectifs globaux de la recherche de la dissertation sont (i) La définition de protocoles de collaboration entre humains et robots visant l’exploration d’environnements inconnus avec des équipes multi-robots. (ii) La mise en oeuvre d’une architecture logicielle et des outils nécessaires pour réduire la charge de travail dans les systèmes humains et multi-robots. (iii) La création d’une interface intuitive pour le système robotique permettant un contrôle et une interaction efficaces avec une formation minimale et une faible surcharge cognitive pour un seul superviseur humain. (iv) La validation de nos approches à travers des exercices réalistes d’exploration et de secours en cas de catastrophe. Ces objectifs sont abordés par la présentation de trois articles cohérents se concentrant sur le développement et le déploiement de technologies d’assistance pour les systèmes autonomes, la conception d’interfaces et leur intégration et validation avec les facteurs humains dans le contexte de l’exploration et de la recherche et sauvetage. Les contraintes de temps et de risque peuvent introduire des défis supplémentaires pour les superviseurs humains de systèmes multi-agents. En considérant des capacités d’autonomie de plus en plus opaques et des systèmes robotiques complexes, nous introduisons un assistant d’autonomie appelé Copilot MIKE pour explorer des terrains extrêmes dans le premier article. Copilot MIKE vise à réduire la charge de travail de l’opérateur en (1) fournissant une conscience situationnelle par rapport aux équipes de robots et à l’environnement; (2) surveillant activement les aspects clés de l’avancement de la mission; (3) apportant un soutien aux processus de prise de décision concernant la planification et la programmation des tâches; et (4) aidant à créer une infrastructure de réseau de communication et à coordonner le déploiement des noeuds de communication pour construire une dorsale de communication. Les résultats préliminaires de simulation indiquent que la charge de travail globale de l’humain dans la boucle a diminué, tandis que la concentration du superviseur humain a augmenté pour exécuter des tâches pendant les phases de préparation et d’exploration d’une mission. Alors que de nombreux systèmes multi-agents sont traditionnellement déployés dans des environnements contrôlés et structurés permettant des tests structurés (par exemple, les entrepôts), le DARPA Subterranean Challenge (SubT) visait divers types d’environnements souterrains inconnus qui imposaient le risque de perte de robots en cas d’échec. Dans le deuxième article, nous introduisons une interface inspirée des jeux vidéo ainsi qu’un assistant de mission autonome qui répond aux lacunes du premier prototype. Nous testons et déployons ensuite le système en utilisant un système multi-agents hétérogène dans des environnements complexes. Ce travail a abouti à une amélioration du contrôle supervisé par l’humain pour un système multi-agents, tout en réduisant la surcharge liée au basculement d’application, à la planification, à l’exécution et à la vérification des tâches. De plus, cette plateforme de collaboration humain-systèmes autonomes a augmenté le temps d’exploration disponible pour les agents déployés, ce qui a conduit à des zones explorées plus vastes. Les paradigmes d’interaction, les approches et les interfaces introduits dans ce travail ont été testés sur le terrain lors du SubT et d’une mission analogue sur Mars de la NASA BRAILLE. Lors des tests préliminaires, le système a été déployé avec jusqu’à 11 robots supervisés simultanément par un seul humain. Des lacunes subsistent dans la compréhension de la manière dont l’autonomie et la conception des interfaces s’intègrent aux facteurs humains et aux performances lors de missions d’exploration à grande échelle. Le troisième article examine des équipes composées de deux robots (semi-)autonomes et d’un seul superviseur humain utilisant nos interfaces. Le système a été déployé dans des grottes au Monument National des Lava Beds (Californie du Nord) et lors d’une étude à facteurs croisés 2x2 entre sujets à Polytechnique Montréal, explorant à la fois des grottes réelles et simulées. Nous avons obtenu des résultats comprenant 38 participants qui ont évalué l’influence de l’autonomie (points de passage vs. autonomie complète avec interventions) et des interfaces (écran vs. réalité virtuelle) sur la charge de travail, la conscience situationnelle et la performance lors d’une mission d’exploration scientifique. Nous constatons que les mesures physiologiques continues correspondent aux métriques NASA TLX pour les différentes modalités d’interface. La condition des points de passage en réalité virtuelle donne le plus faible nombre de cibles scientifiques détectées, tandis que toutes les autres conditions obtiennent des niveaux de performance similaires. La conscience situationnelle, évaluée par les mesures de précision de la Méthode d’Évaluation de la Présence Situationnelle (SPAM), donne environ 90% de précision pour les deux interfaces. Les résultats collectifs de ces trois articles fournissent de nouveaux paradigmes d’interaction, des approches pour concevoir des interfaces à faible charge cognitive, un modèle du monde cyber-physique en temps réel en réalité virtuelle, et des apprentisages sur l’interaction entre la conscience situationnelle, la charge de travail et la performance, validés lors de missions d’exploration planétaire.

Abstract

Space exploration, the final frontier, is lacking validated human-in-the-loop multi-robot system capabilities to uncover our origins. As of yet, July 2024, exploration missions have not demonstrated autonomous multi-robot capabilities outside of Earth, despite recent leaps in the development of robotic autonomy. Human-multi-robot systems in particular, are even less explored in realistic planetary exploration scenarios and gaps remain in the understanding of how humans and robots can collaborate effectively and synergetically. Both, planetary exploration and disaster relief, involve potentially hazardous environments that limit human access, and thus require new interaction paradigms that break away from the one mission one robot paradigm. The overall research objectives of the dissertation are (i) The definition of collaboration protocols between humans and robots targeting the exploration of unknown environments with multi-robot teams.(ii) The implementation of a software architecture and the tools needed to reduce workload in human and multi-robot systems. (iii) The creation of an intuitive interface for the robotic system that allows effective control and interaction with minimal training and little cognitive load overhead for a single human supervisor. (iv) The validation of our approaches through realistic exploration and disaster-relief exercises. These objectives are addressed by the presentation of three coherent articles, focusing on the development and deployment of assistive technologies for autonomous systems, interface designs, and their integration and validation with human factors, in the context of exploration and search and rescue. Time and risk constraints can introduce additional challenges for human supervisors of multiagent systems. Considering increasingly opaque autonomy capabilities and complex robotic systems, we introduce an autonomy assistant called Copilot MIKE for exploring extreme terrains in the first article. Copilot MIKE aims to reduce operator workload by (1) providing situational awareness with respect to robot teams and the environment; (2) actively monitoring key aspects of the mission progress; (3) providing support for decision making processes regarding task planning and scheduling; and (4) helping to create communication network infrastructure and coordinate communication node deployment to build a communications backbone. Preliminary simulation results indicate that the human-in-the-loop’s overall workload decreased, while the human supervisor’s focus increased on executing tasks during the preparation and exploration phases of a mission. While many multi-agent systems are traditionally deployed in controlled and structured environments that allow for structured testing (e.g., warehouses), the DARPA Subterranean Challenge (SubT) targeted various types of unknown underground environments that imposed the risk of robot loss in the case of failure. In the second article, we introduce a video game-inspired interface, an autonomous mission assistant which addresses shortcomings of the first prototype and test and deploy the system using a heterogeneous multi-agent system in challenging environments. This work resulted in improved human-supervisory control for a multi-agent system, while reducing overhead from application switching, task planning, execution, and verification. Further, this human-autonomy teaming platform increased the available exploration time for the deployed agents, which in turn lead to larger explored areas. The interaction paradigms, approaches, and interfaces introduced in this work have been field hardened and field tested during SubT and a NASA BRAILLE Mars analog mission. During preliminary tests, the system was deployed with up to 11 robots simultaneously supervised by a single human. Gaps remain in the understanding of how autonomy and interface design integrate with human-factors and performance during large-scale exploration missions. The third article investigates teams comprising two (semi-)autonomous robots and a single human supervisor using our interfaces. The system has been deployed in caves at the Lava Beds National Monument (Northern California) and during a two-by-two factor within-subject study at Polytechnique Montréal, exploring both real and simulated caves. We obtained results including n=38 participants evaluating the influence of autonomy (waypoint vs. full autonomy with interventions) and interfaces (screen vs. virtual reality) on workload, situational awareness, and performance during a scientific exploration mission. We find that continuous physiological measurements align with NASA TLX metrics in the interface modalities. The virtual reality waypoint condition yields the lowest number of science targets detected, while all other conditions achieve similarly good performance levels. Situational awareness, assessed by the Situation Presence Assessment Method’s accuracy measures, yields approximately 90% correctness for both interfaces. The collective findings from these three articles provide novel interactions paradigms, approaches to design low cognitive workload interfaces, a real-time cyber-physical world model in virtual reality, and significant insights on the interplay of situational awareness, workload, and performance, validated during planetary exploration missions.