Modélisation, simulation et contrôle par apprentissage par renforcement d'un robot de type dirigeable

Le secteur des transports est un des plus polluants dans le monde. Que ce soit pour le transport de personnes par avion d’un côté à l’autre de l’océan ou pour le transport de marchandises par camion, l’industrie produit près de 15% des émissions de gaz à effet de serre au niveau mondial. Au-delà de l’électrification des transports, certains rêvent d’un grand retour des dirigeables. Ces aéronefs particuliers se présentent en effet comme un candidat idéal pour pallier aux problèmes de l’industrie du transport : ils ont une très faible consommation d’énergie puisque la majorité de la force de portance est générée par le gaz de levage leur permettant de flotter, ils sont peu bruyants et ils peuvent rester en vol stationnaire, ce qui leur permet d’atteindre des zones où les avions ou les camions ne se rendent pas. Toutefois, l’utilisation des dirigeables comporte plusieurs défis. Parmi ceux-ci se trouve la difficulté de créer des contrôleurs de vols automatiques sécuritaires. En effet, en raison de leur grande surface, les dirigeables sont très sensibles aux perturbations externes comme les rafales de vent. Les forces aérodynamiques sur le dirigeable étant difficiles à modéliser, les méthodes classiques peinent à contrôler adéquatement les dirigeables. Une nouvelle approche consiste à utiliser l’apprentissage automatique, et plus spécifiquement l’apprentissage par renforcement, pour créer des politiques de contrôles applicables aux dirigeables. Toutefois, il est difficile de créer des modèles adéquats puisqu’il est presque impossible de les tester sur des systèmes de dirigeables réels. Dans ce mémoire, une plateforme de test complète permettant l’entraînement de politiques d’apprentissage par renforcement sur un petit dirigeable est développée. Elle comprend notamment la conception et la création d’un robot dirigeable de deux mètres de long pour utilisation à l’intérieur. Le robot a quatre moteurs et 2 gouvernes à l’arrière. Pour accompagner le robot, un simulateur a été créé avec MuJoCo, un moteur physique populaire en robotique. MuJoCo ne possédant pas de modélisation des interactions avec les fluides adéquate pour les dirigeables, un modèle d’aérodynamique a été développé afin d’être intégré à l’engin physique.