Explaining the Behavior of Reinforcement Learning Agents Using Association Rules

L’utilisation d’algorithmes d’apprentissage par renforcement profond devient de plus en plus populaire pour les systèmes de prise de décision. Cependant, il existe un compromis entre l’efficacité d’un algorithme d’apprentissage automatique et la faculté qu’a un utilisateur de comprendre pourquoi une prédiction a été obtenue. Cette caractéristique est également connue sous le nom d’explicabilité d’un algorithme. Généralement, un algorithme plus efficace s’accompagne d’une moins bonne explicabilité des décisions prises. Concevoir une intelligence artificielle combinant adéquatement ces deux aspects est toujours un défi dans la communauté scientifique. Ce mémoire propose d’utiliser des outils classiques en fouille de données, en particulier les règles d’association, pour expliquer le comportement d’un processus de décision obtenu à l’aide d’un algorithme basé sur de l’apprentissage par renforcement profond et, d’une manière étendue, sur un algorithme arbitraire. Cette idée a été appliquée à la conception d’agents autonomes dans le domaine des jeux vidéos (bots) en collaboration avec la compagnie Stockholmsyndrome.ai. Trois agents ont été conçus à l’aide d’un algorithme de deep Q-learning pour le jeu Street Fighter Turbo II. Chacun de ces agents a été entrainé afin de correspondre à un style de jeu spécifique (aggressif, défensif, ou équilibré). L’objectif poursuivit est d’être capable de déceler le style de jeu de chaque agent uniquement sur base des règles d’association. Les expériences réalisées montrent que les règles d’association peuvent fournir des informations pertinentes sur le comportement de chaque agent et refléter plusieurs caractéristiques liées à leur style de jeu. Cette idée et les résultats obtenus ont fait l’objet d’une publication scientifique soumise et acceptée à la conférence LION 2023 (17th Learning and Intelligent Optimization Conference), qui a eu un taux d’acceptation de 48% lors de la revue par les pairs en double-aveugle.