Fairness via Explanation Quality

Ce mémoire analyse l’intersection entre l’équité algorithmique et la qualité des explications dans les systèmes d’apprentissage automatique dans des contextes à enjeux élevés. Il étudie comment les contraintes d’équité appliquées aux modèles de boîte noire influencent les dispar-ités dans la qualité des explications post-hoc fournies à différents groupes démographiques. De plus, il explore l’impact d’une méthode de correction de modèles interprétables lorsqu’elle est utilisée pour corriger des modèles. La recherche repose sur deux études empiriques dis-tinctes. La première étude évalue systématiquement les disparités dans la qualité des expli-cations sous diverses contraintes d’équité, en utilisant trois jeux de données et deux types de modèles d’ensemble largement utilisés. L’étude démontre que les disparités dans la qualité des explications, mesurées selon des critères de fidélité, de consistance et de stabilité, persistent même lorsque des contraintes d’équité explicites sont intégrées dans la phase d’entraînement du modèle, et dans chaque combinaison d’ensembles de données. Cela indique que parvenir à l’équité au niveau des prédictions ne garantit pas nécessairement l’équité dans les explications générées. Les disparités observées varient également en fonction de la métrique d’équité adop-tée ainsi que de la méthode d’explication employée. La deuxième étude examine l’utilisation des Arbres de Correction Locaux (LCT) pour corriger de manière interpretable les modèles soumis aux changements de distribution. L’analyse montre qu’une légère augmentation de la tolérance à l’erreur de prédiction entraîne une augmentation substantielle du nombre de modèles jugés viables, augmentant ainsi leur diversité mais aussi la possibilité d’avoir des corrections arbitraires. Cela s’accompagne d’une augmentation notable de l’ambiguïté et de la divergence parmi les modèles candidats. En termes d’équité, l’étude démontre que même au sein de l’ensemble de Rashomon, les modèles présentent une large variabilité en matière d’équité des sous-groupes. De plus, l’examen des taux d’abstention révèle que l’efficacité du LCT à fournir des prédictions consistentes dépend largement de la structure des don-nées sous-jacentes. Ils soulignent la nécessité d’approches multi-objectifs qui intègrent la précision prédictive et l’équité entre groupes, tout en mettant en garde contre les risques associés aux sélections arbitraires parmi des modèles presque optimaux. L’étude fournit ainsi des preuves empiriques et des recommandations pratiques pour concevoir des systèmes d’apprentissage automatique transparents, équitables et contextuellement appropriés, qui répondent aux problèmes critiques rencontrés dans des applications réelles sensibles.

Abstract

This thesis explores the intersection of algorithmic fairness and the quality of explanations in machine learning systems in high-stakes contexts. It investigates how fairness constraints applied to black-box models affect disparities in the quality of post-hoc explanations pro-vided to different demographic groups. Furthermore, it explores the impact of interpretable model correction methods when adapted to new data distributions. The research is based on two distinct empirical studies. The first study systematically assesses disparities in expla-nation quality under various fairness constraints, utilizing three publicly available datasets and two widely used ensemble model types. The study demonstrates that disparities in ex-planation quality, measured according to fidelity, consistency, and stability criteria, persist even when explicit fairness constraints are integrated into the model training phase, and in each dataset combination. This indicates that achieving equity at the prediction level does not necessarily ensure equity in the generated explanations. The observed disparities also vary depending on the fairness constraint adopted and the explanation method employed. The second study investigates the use of Local Correction Trees (LCT) to interpretably cor-rect models under distribution shifts. The analysis shows that a slight increase in tolerance for prediction error leads to a substantial increase in the number of models deemed viable, thereby increasing their diversity but also the arbitrariness of possible corrections. This is accompanied by a notable rise in ambiguity and discrepancy among candidate models. In terms of fairness, the study demonstrates that even within the Rashomon set, models exhibit a wide variability in subgroup fairness. Furthermore, the examination of abstention rates and self-consistency reveals that the effectiveness of LCT in providing consistent prediction largely depends on the structure of the underlying data. This emphasize the necessity for multi-objective approaches that incorporate predictive accuracy and group fairness, while also cautioning against the risks associated with arbitrary selections among nearly optimal models. This thesis thus provides empirical evidence and practical recommendations for de-signing transparent, equitable, and contextually appropriate machine learning systems that address critical issues encountered in sensitive real-world applications.