Explainability and reliability for automated dynamic decision systems

Pour de nombreuses tâches automatisées de perception et de décision, les meilleures performances sont actuellement atteintes grâce à des algorithmes trop complexes pour que leur comportement soit entièrement prédictible et compréhensible par les utilisateurs, parce qu'ils déploient de grands modèles d'apprentissage automatique par exemple. Pour déployer ces algorithmes dans des systèmes de décision et de contrôle critiques à la sécurité, il est particulièrement important de développer des méthodes afin de promouvoir la confiance dans leurs décisions et d'aider à explorer leur mode de défaillance. Ce mémoire comprend un article et un travail de recherche complémentaire, où nous cherchons à aborder le problème de certification pour permettre une meilleure compréhension de leurs comportements sous deux aspects différents : explicabilité (générer des explications) et fiabilité (fournir une mesure de qualité) de leurs comportements. Pour l'explicabilité, nous présentons une méthode qui permet de générer des explications pour les comportements de n'importe quel système dynamique de décision traitant des signaux, tandis que pour la fiabilité nous nous concentrons sur un type particulier de système dynamique de décision — système de suivi multi-objets en ligne, où nous proposons d'apprendre une mesure de qualité interprétable pour chaque trajectoire d'objet, ou “tracklet”, pour que l'on puisse réagir en conséquence lors de l'exécution. Plus précisément, dans l'article nous combinons la méthodologie d'« anchors » avec Monte Carlo Tree Search (MCTS) pour générer des explications locales pour un comportement donné d'un modèle dit boîte-noire, qui est censé prendre des décisions de manière dynamique en traitant des signaux qui varient dans le temps. En effet, des systèmes de contrôle tels qu'un système de direction basé sur la perception dans un véhicule autonome sont fondamentalement des systèmes dynamiques entrée-sortie traitant des signaux. Anchors est une méthode modèle-agnostique qui peut s'appliquer à tout type de modèle d'entrée-sortie que l'on cherche à analyser, indépendamment de son architecture interne (e.g., réseau de neurones, système à base de règles, etc.). L'approche proposée cherche des explications très descriptives pour ces décisions sous la forme de propriétés des signaux d'entrée, exprimées en Signal Temporal Logic (STL), qui sont les plus susceptibles de reproduire le comportement observé. STL est une logique populaire qui sert à capturer les propriétés temporelles des signaux, et qui fournit des descriptions riches du comportement des séries temporelles facilement interprétables. Pour illustrer la méthodologie, nous l'appliquons en simulation à l'analyse d'un système de transmission automatique basé sur des règles et d'un système anticollision d'aéronef sans pilote (ACAS Xu) implémenté avec un réseau de neurones.

Abstract

For many automated perception and decision tasks, state-of-the-art performance may be obtained by algorithms that are too complex for their behavior to be completely understandable or predictable by human users, e.g., because they employ large machine learning models. To integrate these algorithms into safety-critical decision and control systems, it is particularly important to develop methods that can promote trust into their decisions and help explore their failure modes. This thesis includes an article and a complementary research work, in which we try to tackle the problem of certification to provide a better understanding of the behaviors from two different aspects: explainability (generating explanations) and reliability (estimate a quality measure) of the behaviors. For explainability, we introduce a method to generate explanations for behaviors of any dynamic decision system processing signals, while for reliability, we focus on a particular type of dynamic decision system — online 3D Multi Object Tracking (MOT) system, for which we propose to learn an interpretable quality measure for each estimated object trajectory, or tracklet, so that human users can react upon accordingly at runtime. More precisely, in the article we combine the “anchors” methodology with Monte Carlo Tree Search (MCTS) to provide local explanations for a given behavior of a black-box model, supposed to make decisions dynamically by processing time-varying signals. Indeed, control systems such as a perception-driven steering system for an autonomous car are fundamentally input-output dynamical systems processing signals. Anchors is a model-agnostic method which can be applied to any type of input-output model that one tries to analyze, irrespective of its internal architecture (e.g., neural network, rule-based system, etc.). The proposed approach searches for highly descriptive explanations for these decisions in the form of properties of the input signals, expressed in Signal Temporal Logic (STL), which are most susceptible to reproduce the observed behavior. STL is a popular logic used to capture temporal properties of signals, which provides rich descriptions of the behavior of time series that are easily interpretable by humans. To illustrate the methodology, we apply it in simulations to the analysis of a rule-based automatic transmission system and a collision avoidance system for unmanned aircraft (ACAS Xu) implemented with a neural network. In the complementary research, we focus more specifically on perception-driven online MOT systems, whose goal is to estimate the trajectory of objects in the surrounding environment based on the “tracking-by-detection” framework, while keeping track of the identity of each object.