Engineering Fairness in Machine Learning Systems

s systèmes d’apprentissage automatique (AA), y compris les modèles classiques, les réseaux de neurones profonds (DNN) et les grands modèles de langage (LLMs), sont de plus en plus déployés dans des domaines à enjeux élevés tels que la santé, le recrutement, la fi-nance et les politiques publiques, où des décisions injustes ou biaisées peuvent avoir des conséquences sociétales majeures. Bien que des progrès substantiels aient été réalisés en matière d’apprentissage équitable, la plupart des approches existantes considèrent l’équité comme une contrainte statique lors de l’entraînement et supposent des distributions de don-nées fixes, des attributs sensibles prédéfinis et une possibilité de réentraîner sans restriction. En pratique, toutefois, les systèmes d’apprentissage automatique évoluent en permanence : le biais peut être introduit lors du prétraitement des données et de la sélection des carac-téristiques, émerger au cours de l’entraînement à travers l’apprentissage des représentations, persister dans des modèles préentraînés, ou être amplifié après le déploiement en raison de changements de distribution. Il est donc essentiel de garantir que l’équité n’est pas compro-mise tout au long du développement et de l’évolution des systèmes d’AA—non seulement pour produire des systèmes logiciels de qualité, mais aussi pour la conformité réglementaire et l’audit. Cette thèse envisage l’équité comme une propriété de qualité au niveau logi-ciel des systèmes d’AA, qui doit être continuellement testée, diagnostiquée et corrigée tout au long du cycle de vie du système. S’inspirant de l’ingénierie logicielle et de l’assurance qualité, la thèse adopte une démarche proactive en matière d’équité, mettant l’accent sur la détection précoce et la correction à faible coût des composants générant des biais, tout en développant également des mécanismes de correction post-entraînement et post-déploiement spécifiques aux contextes où le réentraînement n’est pas faisable. Aux stades des données et de l’entraînement, la thèse propose une méthode systématique pour identifier les carac-téristiques du modèle susceptibles de produire des biais, même sans connaître à l’avance les attributs sensibles. Grâce à une analyse cause-à-effet, cette approche permet aux experts du domaine de raisonner sur les sources de biais et démontre empiriquement que corriger ou supprimer les caractéristiques moins importantes mais génératrices de biais peut améliorer significativement l’équité sans détériorer la performance prédictive. Pour les DNN entraînés, la thèse introduit FairFLRep, un cadre de localisation et de répa-ration des défauts sensible à l’équité qui considère les comportements injustes comme des défectuosités localisées au sein des représentations apprises. FairFLRep identifie les poids de neurones contribuant de manière disproportionnée aux disparités entre sous-groupes et applique des mises à jour ciblées et minimales des paramètres, inspirées par les techniques de correction logicielle issues de l’ingénierie logicielle traditionnelle. En outre, la thèse étudie l’équité dans les modèles transformateurs préentraînés au travers de deux études complé-mentaires. La première examine la manière dont les biais sociaux sont représentés en interne dans les transformateurs, à partir d’un ensemble de données de relations biaisées — des triplets codant des stéréotypes selon divers types de biais — et de techniques d’attribution neuronale. L’étude montre que la connaissance biaisée est souvent concentrée dans de petits sous-ensembles de neurones tout en étant aussi redondamment encodée à travers le réseau. Ces résultats établissent le biais comme un phénomène à la fois architectural et représen-tatif, plutôt qu’un simple artéfact lié aux données, et en évaluent l’impact sur des tâches d’ingénierie logicielle en aval. Sur la base de ces observations, la seconde étude propose un cadre de réparation rigoureux pour les transformateurs préentraînés. Elle introduit une lo-calisation neuronale contrastive et optimale selon Pareto afin d’identifier les neurones de biais de manière concentrée et fiable, puis applique une optimisation axée sur la justesse à l’aide de la méthode d’optimisation par essaim particulaire (PSO) pour les corriger. Les résultats démontrent que la réparation ciblée au niveau des neurones est efficace pour atténuer les biais et constitue une alternative légère et pratique au réentraînement global. Enfin, la thèse aborde la réparation de l’équité sous changement de distribution, un phénomène fréquent dans les déploiements réels, même lorsque les facteurs sources du décalage de données ou de biais sont inconnus ou impossibles à mesurer. Pour dépasser les limites des approches de réparation statiques comme FairFLRep, la thèse propose DShift-FRep, un cadre adaptatif intégrant un alignement des données, un finetuning léger à point de départ chaud, et une réparation ciblée de neurones via PSO. En adoptant le paradigme Adapter puis Réparer, DShift-FRep traite conjointement le décalage de domaine et le biais résiduel, améliorant à la fois la performance prédictive et l’équité entre la source et la cible, sur des données d’images et tabulaires. Les résultats expérimentaux montrent que DShift-FRep surpasse l’état de l’art en adaptation de domaine, auto-apprentissage et techniques de réparation statique, tout en évitant une dérive inutile des paramètres. Dans l’ensemble, cette thèse apporte des bases rigoureuses et pratiques pour développer, tester, maintenir et déployer des systèmes d’AA équitables, fiables et responsables dans des contextes réels.