Trustworthy Additive Explanations of Machine Learning Models through Increased Alignment

Nous vivons présentement une révolution numérique. Grâce aux avancées technologiques liées à la puissance de calcul et l’emmagasinage de données, il est désormais possible d’automatiser de nombreuses tâches. Exploiter le plein potentiel des données a demandé un changement de paradigme vers l’Apprentissage Automatique (AA). Concrètement, plutôt que de manuellement encoder la logique d’un programme, on laisse un Algorithme d’Apprentissage déterminer le bon programme (ou prédicteur) à partir des données collectées. La forte dépendance envers les données apporte de nouveaux risques. Par exemple, si les données sont biaisées ou non représentatives, le prédicteur appris exhibera ces biais. Puisque la plupart des prédicteurs fournis par des algorithmes d’apprentissages sont des boites noires, il est difficile de déterminer si les modèles ont appris les bons patrons. Le champ de l’Intelligence Artificielle eXpliquable (XAI) a développé des mécanismes pour “expliquer” les comportements des boites noires. La promesse de ces techniques est qu’elles pourront aider un praticien à déterminer si le modèle a appris les bons patrons et qu’il ne contient pas de biais indésirables. Alors que le XAI a maturé au point de fournir une variété de techniques aux développeurs, la difficulté d’évaluer ces méthodes est devenue apparente. En effet, puisque le prédicteur est une boite-noire, il n’y a pas de réponse de référence pour l’explication de ces décisions. Sans réponse de référence, un praticien n’a pas de manière systématique de décider quelle explication est la bonne quand diverses techniques se contredisent. Pour contrer cette limitation, nombreux chercheurs développent des métriques de qualités sur les explications. À mon avis, cette direction de recherche n’a pas encore porté fruit, car le choix des bonnes métriques de qualités n’a pas encore été déterminé. De plus, il a été démontré expérimentalement que les métriques existantes sont inconsistantes : le choix de la meilleure explication dépend grandement de la métrique choisie. Nous proposons une solution alternative au manque de réponse de référence en explicabilité. Notamment, nous proposons d’aligner les méthodes plutôt que de les comparer. Plus précisément, nous démontrons que toutes les techniques d’explicabilité peuvent être exprimées dans un cadre théorique uniforme. À travers ce cadre théorique, la raison des désaccords devient apparente. De plus, la théorie prédit que, quand toutes les techniques s’accordent, alors elles coïncident avec une explication sensée (celle d’un modèle additif). Ceci prouve qu’aligner les techniques d’explications est une méthodologie viable pour obtenir une réponse de référence. Il est finalement démontré théoriquement et empiriquement comment réduire les désaccords entre les explications, permettant d’obtenir des explications fiables.

Abstract

We are currently living a numerical revolution. Given modern advancements in the computing power and data storage capabilities of computers, it is now possible to automate a variety of tasks. Exploiting the full potential of large data has required a change of paradigm to Machine Learning (ML). Concretely, instead of manually encoding the logic of a program, we let a Learning Algorithm decide which program (or predictor) best fits the collected data. The strong reliance on data introduces new risks. For instance, if the data is biased or nonrepresentative, the learned predictor will also exhibit those biases. Since most predictors yielded by learning algorithms are black-boxes, it is hard to determine whether the model has learned the correct patterns. The field of eXplainable Artificial Intelligence (XAI) has developed mechanisms to “explain” the behavior of black boxes. The promises of these techniques is that they will help practitioners determine whether the model has learned the correct patterns and does not exhibit undesirable biases. As XAI has matured to the point of providing a myriad of open-source tools to developers, the difficulty in comparing the various methods has become apparent. Indeed, since the model is a black-box, there is no ground-truth for the explanation of its decisions. Without ground-truths, a practitioner cannot systematically decide which explanation is correct whenever the different techniques contradict each other. To tackle this limitation, researchers have developed quality metrics for explanations. In my opinion, this research direction has not yet been fruitful because the choice of optimal metrics has not been determined. Even more, it was demonstrated experimentally that existing metrics are inconsistent : the choice of the best explanation depends on the metric considered. We propose an alternative solution to the lack of ground-truth in explainability. Notably, we propose to align the methods instead of comparing them. More precisely, we demonstrate that all explainability techniques can be expressed in a unified theoretical framework. Through this framework, the root cause of disagreements becomes apparent. Moreover, the theory predicts that, when all techniques agree, they coincide with a sensible explanation (that of an additive model). This proves that aligning explanations techniques is a viable methodology for obtaining ground-truth explanations. We finally demonstrate theoretically and empirically how to reduce disagreements between explanations, allowing for more trustworthy insights on model behavior.