Toward Multi-Agent Data-Driven Interactive Autonomous Vehicles

La recherche présentée dans cette thèse porte sur la modélisation des comportements multi-agents pour les systèmes de conduite autonome. Alors que les travaux en apprentissage automatique se sont longtemps concentrés sur la construction de représentations de scène à partir des données de capteurs (sensor data), nous supposons l’accès à des représentations ab-straites fiables de l’environnement. Munis de ces représentations, nous examinons la chaîne de décision des véhicules autonomes (VAs), en particulier les modules de prédiction et de planification, et proposons des méthodes pour les améliorer. Dans la chaîne de planification, le module de prédiction doit produire des prédictions multimodales et précises des agents environnants. Le module de planification doit générer une trajectoire efficace vers la destina-tion tout en respectant des critères de sécurité et de confort. L’évaluation en boucle fermée (closed-loop) de la chaîne de planification est essentielle pour le déploiement des VAs, car elle permet de mesurer la déviation du planificateur entraîné par imitation (imitation drift). Cela exige des simulateurs capables de produire les comportements d’agents “de fond” qui réagissent aux actions du VA. Nous apportons plusieurs contributions visant une modélisation axée sur les données des interactions entre agents : (1) des Transformers d’ensembles séquentiels produisant des pré-dictions multimodales et multi-agents sous forme d’ensembles à cardinalité variable, tout en restant permutation-équivariants et en modélisant les interactions temporelles inter-agents;(2) CtRL-Sim, un simulateur réactif de comportements appris par renforcement hors ligne, qui remplace le rejeu de journaux par des agents apprenants réagissant à la politique de l’ego et permettant des déploiements stables en boucle fermée, y compris sous attaques ad-versariales potentielles; (3) des modèles de diffusion latente vectorisée pour synthétiser de nouvelles géométries routières et des états initiaux d’agents dans les scènes de conduite; (4) un cadre d’apprentissage par renforcement contraint pour la spécification des comportements d’agents, qui formule la planification comme une optimisation sous contraintes explicites de sécurité et d’autres exigences comportementales, afin d’arbitrer entre efficacité et respect des contraintes. Empiriquement, la prévision par ensembles séquentiels offre un moyen efficace de projeter l’évolution future de scènes entières tout en conservant des modes divers et sensibles aux interactions. Le remplacement du rejeu non-réactif par CtRL-Sim améliore le réalisme des autres agents dans l’environnement et permet d’évaluer les planificateurs face aux comporte-ments adversariaux. En couplant la génération de scènes initiales avec CtRL-Sim, Scenario Dreamer synthétise des simulations réactives entièrement en boucle fermée, ce qui autorise l’étude des effets de l’entraînement et de l’évaluation des planificateurs dans des scénarios nouveaux et de longue durée. Notre approche par renforcement contraint pour la spécifica-tion des comportements permet de définir des politiques qui respectent des seuils de sécurité, évitant le besoin de “reward engineering”. Nous étendons ensuite ce cadre de spécification de comportements contraints à Group Relative Policy Optimization (GRPO), en introduisant Constrained GRPO, et en établissant une approche simple pour assurer une application fi-able des contraintes dans une optimisation de politique sans critique. Pris ensemble, ces composants constituent les bases d’une pile comportementale où prévision, planification et simulation sont co-conçues pour le développement en boucle fermée des VAs. Nous espérons que ce travail servira de fondation à de futures recherches en modélisation des comportements pour la conduite autonome.