Explaining the Behavior of Reinforcement Learning Agents Using Association Rules

L’utilisation d’algorithmes d’apprentissage par renforcement profond devient de plus en plus populaire pour les systèmes de prise de décision. Cependant, il existe un compromis entre l’efficacité d’un algorithme d’apprentissage automatique et la faculté qu’a un utilisateur de comprendre pourquoi une prédiction a été obtenue. Cette caractéristique est également connue sous le nom d’explicabilité d’un algorithme. Généralement, un algorithme plus efficace s’accompagne d’une moins bonne explicabilité des décisions prises. Concevoir une intelligence artificielle combinant adéquatement ces deux aspects est toujours un défi dans la communauté scientifique. Ce mémoire propose d’utiliser des outils classiques en fouille de données, en particulier les règles d’association, pour expliquer le comportement d’un processus de décision obtenu à l’aide d’un algorithme basé sur de l’apprentissage par renforcement profond et, d’une manière étendue, sur un algorithme arbitraire. Cette idée a été appliquée à la conception d’agents autonomes dans le domaine des jeux vidéos (bots) en collaboration avec la compagnie Stockholmsyndrome.ai. Trois agents ont été conçus à l’aide d’un algorithme de deep Q-learning pour le jeu Street Fighter Turbo II. Chacun de ces agents a été entrainé afin de correspondre à un style de jeu spécifique (aggressif, défensif, ou équilibré). L’objectif poursuivit est d’être capable de déceler le style de jeu de chaque agent uniquement sur base des règles d’association. Les expériences réalisées montrent que les règles d’association peuvent fournir des informations pertinentes sur le comportement de chaque agent et refléter plusieurs caractéristiques liées à leur style de jeu. Cette idée et les résultats obtenus ont fait l’objet d’une publication scientifique soumise et acceptée à la conférence LION 2023 (17th Learning and Intelligent Optimization Conference), qui a eu un taux d’acceptation de 48% lors de la revue par les pairs en double-aveugle.

Abstract

The use of deep reinforcement learning algorithms is becoming increasingly popular for building decision-making systems. However, there is a well-known friction between the efficiency of a machine-learning algorithm and its level of explainability. Typically, a more efficient algorithm comes with less explainability of the decisions made. Explainable artificial intelligence is nowadays a hot topic in the research community, and this thesis proposes using standard data mining tools, specifically association rules, to explain the behavior of a blackbox sequential decision process built with a deep reinforcement learning algorithm and, in an extended way, on an arbitrary algorithm. This idea has been applied to the design of autonomous agents in the field of video games (bots) in collaboration with the company Stockholmsyndrome.ai. Three agents have been designed using a deep Q-learning algorithm for the game Street Fighter Turbo II. Each of these agents has been trained to correspond to a specific play style (aggressive, defensive, or balanced). The goal is to be able to detect the playing style of each agent solely on the basis of association rules. The experiments show that the association rules can provide relevant information about the behavior of each agent and reflect several characteristics related to their playing style. This idea and the results obtained has been submitted and accepted as a regular paper at the LION 2023 conference (17th Learning and Intelligent Optimization Conference), which had an acceptance rate of 48% with a double-blind peer review.