Closing the Reality Gap by Estimating Dynamic Residuals with Gaussian Processes

L’apprentissage par renforcement (Reinforcement Learning, RL) s’est récemment imposé comme un cadre puissant pour résoudre des problèmes complexes de prise de décision, faisant de lui un candidat prometteur pour des applications de contrôle de systèmes mécaniques réels. Le déploiement de ces agents de Reinforcement Learning (RL) dans des environnements réels restant difficile en raison des coûts élevés, des risques et du temps requis pour l’entraînement direct sur les systèmes physiques, l’utilisation de la simulation pour l’entraînement s’est im-posé comme une l’approche standard, exploitant les capacités de calcul et de parallélisation des ordinateurs modernes pour développer des politiques ensuite transférées sur les systèmes réels. Cependant, malgré les progrès des simulateurs en matière de fidélité et des techniques de transfert des agents de la simulation vers la réalité, le déploiement des politiques RL sur des systèmes physiques reste limité par le réalité gap — c’est-à-dire le décalage entre le com-portement simulé et le comportement réel - lorsque ces systèmes présentent des dynamiques complexes. Ce mémoire explore une approche visant à combler cet écart entre simulateur et monde réel en améliorant le simulateur lui-même. Plus précisément, nous proposons une méthode reposant sur les processus Gaussiens (Gaussian Processes, GP) pour modéliser les résidus des dynamiques entre l’environnement simulé et le monde réel. En optimisant un GP à partir de données collectées dans le système réel et en l’ajoutant comme terme correctif dans la fonction de transition de la simulation, nous obtenons un simulateur enrichi capable de générer des trajectoires plus fidèles à la réalité. Cet environnement amélioré est ensuite utilisé pour entraîner de nouvelles politiques de RL plus robustes au transfert vers l’environnement cible et présentant de meilleure performance dans celui-ci. Afin de valider l’efficacité de cette approche, nous avons réalisé des expériences en simulation et sur un robot dans le monde réel. Nos résultats montrent non seulement que l’ajout du modèle correctif au simulateur permet de générer des trajectoires plus réalistes mais aussi que les politiques entrainées sur ce simulateur atteignent des performances quasi-optimales une fois transférées dans l’environnement réel. Ce travail souligne l’intérêt de modèles pro-babilistes, peu gourmands en données, pour améliorer le transfert de simulation vers réalité des politiques de RL, participant ainsi à réduire l’écart entre simulation et monde réel dans le cadre de l’apprentissage par renforcement appliqué à la robotique.