Effective Reward Specification in Deep Reinforcement Learning

Au cours de la dernière décennie, les progrès dans le domaine de l’apprentissage par ren-forcement profond en ont fait l’un des outils les plus efficaces pour résoudre les problèmes de prise de décision séquentiels. Cette approche combine l’excellence de l’apprentissage profond à traiter des signaux complexes avec l’adaptabilité de l’apprentissage par renforcement (RL) pour s’attaquer à une panoplie de problèmes de contrôle. Lorsqu’il effectue une tâche, un agent de RL reçoît des récompenses ou des pénalités en fonction de ses actions. Cet agent cherche à maximiser la somme de ses récompenses, permettant ainsi aux algorithmes d’IA de découvrir des solutions novatrices dans plusieurs domaines. Cependant, cette focalisation sur la maximisation de la récompense introduit également une difficulté importante: une spéci-fication inappropriée de la fonction de récompense peut considérablement affecter l’efficacité du processus d’apprentissage et entraîner un comportement indésirable de la part de l’agent. Dans cette thèse, nous présentons des contributions au domaine de la spécification de ré-compense en apprentissage par renforcement profond sous forme de quatre articles. Nous commençons par explorer l’apprentissage par renforcement inverse, qui modélise la fonction de récompense à partir d’un ensemble de démonstrations d’experts, et proposons un algo-rithme permettant une implémentation et un un processus d’optimisation efficaces. Ensuite, nous nous penchons sur le domaine de la composition de récompense, visant à construire des fonctions de récompense efficaces à partir de plusieurs composantes. Nous prenons le cas de la coordination multi-agent, et proposons des tâches auxiliaires qui ajoutent des signaux de récompense sous forme de biais inductifs qui permettent de découvrir des politiques perfor-mantes dans des environnements coopératifs. Nous investiguons également l’utilisation de l’optimisation sous contrainte et proposons un cadre pour une spécification plus directe et intuitive de la fonction de récompense. Finalement, nous nous tournons vers le problème de l’apprentissage par renforcement pour la découverte de nouveaux médicaments et présentons une approche multi-objectif conditionnée permettant d’explorer tout l’espace des objectifs. Ci-après, nous commençons par présenter une revue la littérature sur les stratégies de spécifi-cation, identifions les limitations de chacune de ces approches et proposons des contributions originales abordant le problème de l’efficacité et de l’alignement en apprentissage par renforce-ment profond. La spécification de récompense représente l’un des aspects les plus difficiles de l’application de l’apprentissage par renforcement dans les domaines réels. Pour le moment, il n’existe pas de solution universelle à ce défi complexe et nuancé; sa résolution nécessite la sélection des outils les plus appropriés pour les exigences spécifiques de chaque application.