Explainability and reliability for automated dynamic decision systems

Pour de nombreuses tâches automatisées de perception et de décision, les meilleures performances sont actuellement atteintes grâce à des algorithmes trop complexes pour que leur comportement soit entièrement prédictible et compréhensible par les utilisateurs, parce qu'ils déploient de grands modèles d'apprentissage automatique par exemple. Pour déployer ces algorithmes dans des systèmes de décision et de contrôle critiques à la sécurité, il est particulièrement important de développer des méthodes afin de promouvoir la confiance dans leurs décisions et d'aider à explorer leur mode de défaillance. Ce mémoire comprend un article et un travail de recherche complémentaire, où nous cherchons à aborder le problème de certification pour permettre une meilleure compréhension de leurs comportements sous deux aspects différents : explicabilité (générer des explications) et fiabilité (fournir une mesure de qualité) de leurs comportements. Pour l'explicabilité, nous présentons une méthode qui permet de générer des explications pour les comportements de n'importe quel système dynamique de décision traitant des signaux, tandis que pour la fiabilité nous nous concentrons sur un type particulier de système dynamique de décision — système de suivi multi-objets en ligne, où nous proposons d'apprendre une mesure de qualité interprétable pour chaque trajectoire d'objet, ou “tracklet”, pour que l'on puisse réagir en conséquence lors de l'exécution. Plus précisément, dans l'article nous combinons la méthodologie d'« anchors » avec Monte Carlo Tree Search (MCTS) pour générer des explications locales pour un comportement donné d'un modèle dit boîte-noire, qui est censé prendre des décisions de manière dynamique en traitant des signaux qui varient dans le temps. En effet, des systèmes de contrôle tels qu'un système de direction basé sur la perception dans un véhicule autonome sont fondamentalement des systèmes dynamiques entrée-sortie traitant des signaux. Anchors est une méthode modèle-agnostique qui peut s'appliquer à tout type de modèle d'entrée-sortie que l'on cherche à analyser, indépendamment de son architecture interne (e.g., réseau de neurones, système à base de règles, etc.). L'approche proposée cherche des explications très descriptives pour ces décisions sous la forme de propriétés des signaux d'entrée, exprimées en Signal Temporal Logic (STL), qui sont les plus susceptibles de reproduire le comportement observé. STL est une logique populaire qui sert à capturer les propriétés temporelles des signaux, et qui fournit des descriptions riches du comportement des séries temporelles facilement interprétables. Pour illustrer la méthodologie, nous l'appliquons en simulation à l'analyse d'un système de transmission automatique basé sur des règles et d'un système anticollision d'aéronef sans pilote (ACAS Xu) implémenté avec un réseau de neurones.