Deep Reinforcement Learning for Environment-Aware Mapless Navigation

La navigation autonome est la capacité d’un robot ou d’un véhicule à se déplacer d’un point à un autre sans intervention humaine. Avec les progrès récents en vision par ordinateur et en robotique, les robots mobiles sont déployés dans de plus en plus de domaines et de scénarios. Cependant, l’état de l’art existant repose sur des méthodes qui peuvent être coûteuses en termes de calcul, nécessitant des processeurs puissants voire même des unités de traitement graphique embarqués, et supposent des environnements statiques. Cela limite ainsi fortement le déploiement de tels robots dans le monde réel, où les environnements complexes contiennent souvent des objets dynamiques. Ceci est d’autant plus vrai pour les véhicules aériens de petite taille qui n’ont pas la puissance de calcul nécessaire ou qui disposent d’une énergie embarquée limitée. Pour les robots plus petits, des méthodes de navigation réactives existent, mais elles peuvent monopoliser une proportion significative des ressources du robot. Dans des travaux récents, l’apprentissage par renforcement profond (ARP) a été utilisé pour naviguer efficacement dans des environnements dynamiques et a montré des résultats prometteurs. Cependant, cette approche bout-en-bout est beaucoup moins robuste et n’a pas atteint les performances des méthodes classiques. Cette thèse adopte une approche combinant à la fois des méthodes traditionnelles et l’ARP pour permettre à des robots aux ressources limitées de naviguer en évitant les obstacles. L’ARP est appliqué pour apprendre un méchanisme d’attention permettant de sélectionner l’information importante à la navigation et ignorer les données des capteurs non pertinentes pour l’évitement d’obstacles, rendant les algorithmes de navigation plus efficaces et plus rapides. Nous implémentons and et évaluons agent pour l’ARP sur un drone en simulation et sur un micro-rover pour démontrer que l’approche est applicable sur diférent robots. Tout d’abord, plusieurs agents sont conçus avec différentes représentations d’état, espaces d’action et fonctions de récompense, et sont entraînés avec divers algorithmes d’ARP, architectures de politique et hyperparamètres. Ensuite, en utilisant les résultats de l’exploration initiale, les deux agents les plus performants sont sélectionnés et évalués à la fois de manière quantitative et qualitative, et sont comparés à une approche de navigation traditionnelle. Les agents ont développé deux comportements différents. Un agent a appris à limiter de manière agressive la méthode de navigation pour ne traiter que les données de détection et télémétrie par la lumière (lidar) critiques pour l’évitement des collisions. L’autre agent a appris une politique plus conservatrice, permettant à la méthode de navigation d’utiliser en moyenne 16% des données du lidar, en sélectionnant les informations pertinentes à la fois pour l’évitement des collisions et pour une meilleure recherche de trajectoire. En plus de cette réduction des données utilisées, la méthode proposée a réduit le temps de calcul nécessaire pour la navigation d’un facteur de 2.7x.