Modélisation, simulation et contrôle par apprentissage par renforcement d'un robot de type dirigeable

Le secteur des transports est un des plus polluants dans le monde. Que ce soit pour le transport de personnes par avion d’un côté à l’autre de l’océan ou pour le transport de marchandises par camion, l’industrie produit près de 15% des émissions de gaz à effet de serre au niveau mondial. Au-delà de l’électrification des transports, certains rêvent d’un grand retour des dirigeables. Ces aéronefs particuliers se présentent en effet comme un candidat idéal pour pallier aux problèmes de l’industrie du transport : ils ont une très faible consommation d’énergie puisque la majorité de la force de portance est générée par le gaz de levage leur permettant de flotter, ils sont peu bruyants et ils peuvent rester en vol stationnaire, ce qui leur permet d’atteindre des zones où les avions ou les camions ne se rendent pas. Toutefois, l’utilisation des dirigeables comporte plusieurs défis. Parmi ceux-ci se trouve la difficulté de créer des contrôleurs de vols automatiques sécuritaires. En effet, en raison de leur grande surface, les dirigeables sont très sensibles aux perturbations externes comme les rafales de vent. Les forces aérodynamiques sur le dirigeable étant difficiles à modéliser, les méthodes classiques peinent à contrôler adéquatement les dirigeables. Une nouvelle approche consiste à utiliser l’apprentissage automatique, et plus spécifiquement l’apprentissage par renforcement, pour créer des politiques de contrôles applicables aux dirigeables. Toutefois, il est difficile de créer des modèles adéquats puisqu’il est presque impossible de les tester sur des systèmes de dirigeables réels. Dans ce mémoire, une plateforme de test complète permettant l’entraînement de politiques d’apprentissage par renforcement sur un petit dirigeable est développée. Elle comprend notamment la conception et la création d’un robot dirigeable de deux mètres de long pour utilisation à l’intérieur. Le robot a quatre moteurs et 2 gouvernes à l’arrière. Pour accompagner le robot, un simulateur a été créé avec MuJoCo, un moteur physique populaire en robotique. MuJoCo ne possédant pas de modélisation des interactions avec les fluides adéquate pour les dirigeables, un modèle d’aérodynamique a été développé afin d’être intégré à l’engin physique.

Abstract

The transportation sector is one of the most polluting industries in the world. Whether it is the transportation of people by plane across the ocean or the transportation of goods by truck, the industry accounts for nearly 15% of global greenhouse gas emissions. Beyond the electrification of transportation, some dream of a great return of airships. These particular aircrafts are indeed seen as an ideal candidate to address the problems of the transportation industry: they have a very low energy consumption since the majority of their lift is generated by the lifting gas that allows them to float, they are relatively quiet, and they can hover, which allows them to reach areas where airplanes or trucks cannot go. However, the use of airships comes with several challenges. Among these is the difficulty of creating safe automatic flight controllers. Indeed, due to their large surface area, airships are very sensitive to external disturbances such as wind gusts. The aerodynamic forces acting on airships are difficult to model, and traditional control methods struggle to adequately control them. A new approach involves using machine learning, and specifically reinforcement learning, to create control policies for airships. However, it is challenging to develop adequate models since it is nearly impossible to test them on real airship systems. In this thesis, a complete testing platform is developed for training reinforcement learning policies on a small airship. It includes the design and creation of a two-meter-long indoor airship robot. The robot has four motors and two rudders at the rear. To accompany the robot, a simulator was created using MuJoCo, a popular physics engine in robotics. Since MuJoCo does not provide an adequate fluid interaction model for airships, an aerodynamic model was developed to be integrated with the physical engine.