Deep Reinforcement Learning in Real-Time Environments

L'Apprentissage par Renforcement regroupe une famille d'algorithmes permettant de découvrir des contrôleurs performants. Ces algorithmes fonctionnent sur le principe d'essai-erreur, en maximisant la somme cumulative d'un signal dit de "récompense", conçu par le praticien. Dans des environnements simples et idéalisés vérifiant certaines propriétés, nombre de ces algorithmes sont mathématiquement garantis de découvrir un contrôleur optimal. Les récents progrès de l'Apprentissage Profond ont permis d'étendre avec succès les algorithmes d'Apprentissage par Renforcement à des environnements beaucoup plus complexes. Néanmoins, ces succès demeurent le plus souvent cantonnés à des applications très cadrées telles que le jeu de go, d'échecs, ou encore les simulations informatiques. Dans ce mémoire, nous nous intéressons à étendre le domaine d'applicabilité de la discipline aux environnements réels, afin de faciliter par exemple l'apprentissage de contrôleurs pour la robotique. Il est en effet difficile d'appliquer avec succès les algorithmes d'Apprentissage par Renforcement dans de tels environnements. En particulier, les environnements utilisés dans la littérature sont conçus pour être assimilables à des Processus Décisionnels Markoviens, sur lesquels se base toute la théorie de l'Apprentissage par Renforcement. Cependant, le monde réel est en général beaucoup trop complexe pour être naïvement assimilé à de tels objets idéaux. En particulier, il est vraisemblablement impossible d'observer l'intégralité de l'univers, le monde réel est non-stationnaire, et les évènements s'y déroulent de manière continue en temps-réel. Dans le cadre de ce mémoire, notre objectif est plus particulièrement d'étendre la théorie et la pratique de l'Apprentissage par Renforcement au domaine du temps-réel.