The Challenges of Learning Representations for Reinforcement Learning Without Experience Replay

Ce mémoire aborde la question de l’apprentissage de représentations appliqué à l’apprentis-sage par renforcement, dans le cas particulier où l’on ne s’autorise pas à stocker les expériences rencontrées par l’agent. L’apprentissage par renforcement, aussi appelé Reinforcement Lear-ning (RL), a pour but de résoudre optimalement un problème de décision séquentiel. Ce dernier prend place dans un environnement dans lequel évolue un agent qui peut interagir avec l’environnement au travers d’actions. L’apprentissage par renforcement consiste à trou-ver une politique d’actions à prendre compte tenu des observations de l’environnement faites par l’agent et qui maximise les récompenses obtenues par celui-ci. Nous nous intéressons ici plus particulièrement au cas dans lequel le stockage d’expériences pour réutilisation future n’est pas autorisé. Une telle contrainte est dénommée Apprentissage par Renforcement sur un Flux d’Expériences, ou Streaming Deep Reinforcement Learning dans la littérature. Bien qu’à ses origines l’apprentissage par renforcement (alors complètement dépourvu d’apprentissage profond et de réseaux neuronaux) a été étudié dans le contexte de flux d’expériences, ce n’est que très récemment que ce contexte a été ré-introduit dans le paradigme de l’approxima-tion de fonctions par réseaux de neurones. Ce nouveau paradigme permet de se débarrasser de la nécessité d’avoir accès à des ressources informatiques importantes, car sans stockage d’expériences l’entraînement n’a plus besoin d’avoir lieu sur une carte graphique, ou Graphi-cal Processing Unit (GPU). Cependant, le stockage et l’agrégation d’expériences constituent l’une des techniques principales pour réduire l’instabilité rencontrée lors de l’entraînement d’agents via des réseaux de neurones. Aussi, en interdisant le stockage d’expériences, l’insta-bilité due à l’inhérente non-stationnarité de l’apprentissage par renforcement est fortement exacerbée, ce qui limite les performances des agents. L’apprentissage de représentations est l’un des domaines majeurs de la recherche en intel-ligence artificielle. Le but de telles méthodes est d’obtenir des plongements (représentation d’un objet comme une image, un graphe, du texte, etc. sous forme d’un vecteur) de bonne qualité, au travers d’algorithmes et architectures spécifiques, afin de faciliter l’entraînement de réseaux de neurones et d’en améliorer les performances. Ces tâches nécessitent bien sou-vent d’avoir à disposition des quantités considérables de données, pas forcément étiquetées, et d’avoir accès à d’importantes ressources informatique pour les traiter. Dans le cadre de l’apprentissage par renforcement, de telles techniques ont été utilisées et de nombreux travaux montrent qu’elles augmentent les performances des agents qui les incorporent. L’apprentissage par renforcement se prête particulièrement bien notamment aux méthodes d’apprentissage non-supervisé basées sur la prédiction de la dynamique de l’environnement, c’est à dire baséessur la prédiction des états futurs de l’environnement étant donnée une séquence d’actions. Ces méthodes sont bien documentées dans la littérature, mais pas dans le cadre de l’appren-tissage par renforcement sur un flux d’expériences. Or, ce cadre étant encore plus instable que l’apprentissage par renforcement profond classique, ajouter de telles méthodes d’appren-tissage de représentations semble essentiel à stabiliser davantage l’apprentissage et améliorer les performances des agents. Peu de travaux étudient l’apprentissage de représentations sur un flux de données, et aucun n’est appliqué à l’apprentissage par renforcement. Devant cette situation, nous choisissons d’investiguer dans quelle mesure l’apprentissage de représentations peut être appliqué à l’apprentissage par renforcement sur un flux d’expériences dans le but d’améliorer les performances des agents entraînés dans un tel contexte. Afin de traiter ce sujet, nous avons décidé de partir d’un agent d’apprentissage par renforce-ment augmenté par un objectif d’apprentissage de représentations déjà existant et performant, puis de l’adapter au contexte de l’apprentissage par renforcement sur un flux d’expériences. Cette approche consiste à combiner l’architecture appelée Self-Predictive Representations (SPR) à un agent entraîné sur un flux d’expériences. Étant donné que SPR n’a pas été conçu pour ce contexte d’apprentissage par renforcement, nous nous attentdions à ce que la forte non-stationnarité du problème soit un obstacle important au succès de notre méthode. Pour cette raison, nous avons décidé de rendre le problème de plus en plus stable au travers d’expé-riences successives, afin de déterminer quelles seraient les conditions nécessaires de stabilité de cette approche. Surprenamment, nous avons constaté qu’en imposant que la politique soit apprise uniquement sur un flux d’observations, peu importe le niveau de stabilité de la tâche d’apprentisage de représentations les performances des agents sont toutes moins bonnes que notre base de comparaison (agent entraîné sur un flux de données, sans tâche auxiliaire). Nous avons également confirmé que sans cette contrainte d’apprentissage sur un flux d’expé-riences, la même tâche secondaire mène à l’apprentissage de représentations riches et utiles aux agents. Aussi, nous concluons que bien que dans le cadre classique de l’apprentissage par renforcement ajouter une tâche secondaire d’apprentissage de représentations est bénéfique pour les performances, ce n’est pas le cas lorsque l’on se restreint à entraîner des agents sur des flux d’expériences. En effet, nos résultats suggèrent que l’optimisation jointe des deux tâches interfère négativement avec les performances de l’agent. Ce mémoire présente également les différentes stratégies d’optimisation ayant été considérées, sans pour autant qu’aucune n’amène de meilleures performances.