Pruning Strategies in Random Forests: The Interplay Between Model Compression and Fairness

Ce mémoire présente une étude approfondie de l’impact des méthodes d’élagage appliquées aux forêts aléatoires sur le compromis entre la performance prédictive et les mesures d’équité. Dans un contexte où l’équité algorithmique devient une préoccupation majeure, il est essentiel de comprendre comment les techniques de compression des modèles influencent ces métriques de manière multidimensionnelle. Cette recherche vise à explorer systématiquement ces effets selon plusieurs dimensions – les caractéristiques des jeux de données, les méthodes d’élagage utilisées et les niveaux d’élagage appliqués – dans le but de fournir des connaissances fondamentales et des recommandations exploitables pour la communauté scientifique. L’objectif principal de cette étude est de déterminer dans quelle mesure les méthodes structurées d’élagage interagissent avec les biais initiaux des jeux de données et modifient les relations entre la précision des modèles et trois métriques d’équité clés : la différence de parité démographique, la différence d’égalité des chances et la différence de parité prédictive. L’étude examine également si certaines configurations d’élagage peuvent offrir des points d’équilibre stables permettant de préserver à la fois la performance prédictive et l’équité. Pour répondre à ces objectifs, nous avons mené des expériences sur deux jeux de données distincts — le jeu de données sur les revenus et le jeu de données sur le temps de déplacement — chacun présentant des niveaux de stabilité et des structures de biais différents. Quatre méthodes d’élagage structurées (élagage par classement, élagage par regroupement, élagage MIQP et élagage glouton) ont été étudiées, en comparaison avec une méthode d’élagage aléatoire servant de base de référence. Chaque méthode a été appliquée à différents pourcentages d’élagage et les modèles résultants ont été évalués en termes d’exactitude et d’équité. Notre méthodologie expérimentale suit une approche multidimensionnelle : • Une première analyse globale regroupe les résultats à travers tous les niveaux d’élagage et les jeux de données afin d’identifier les tendances générales. • Une analyse plus détaillée est ensuite réalisée en intégrant les dimensions du jeu de données et du niveau d’élagage, à l’aide de visualisations telles que des diagrammes en boîte, des nuages de points, des diagrammes radar et des matrices de corrélation. • Enfin, chaque méthode est examinée individuellement afin d’évaluer sa sensibilité à l’élagage, son impact sur les relations entre métriques d’équité et sa robustesse dans différents scénarios. Les résultats montrent que l’effet de l’élagage sur l’équité et l’exactitude n’est pas universel, mais fortement dépendant des propriétés du jeu de données et de la méthode utilisée. L’élagage par classement apparaît comme le plus sensible, provoquant de fortes variations métriques, notamment sur le jeu de données travel time. À l’inverse, l’élagage par regroupement démontre la plus grande stabilité et prévisibilité. Bien que les méthodes d’élagage glouton et MIQP montrent une certaine stabilité, elles peuvent, à des niveaux d’élagage forts, modifier de manière imprévisible les relations entre les métriques d’équité, en particulier sur les jeux de données sensibles. La magnitude de ces changements reste toutefois contenue dans des limites acceptables. Un constat clé de ce travail est que la plupart des méthodes d’élagage ne changent pas la direction des biais initiaux présents dans les jeux de données, mais tendent plutôt à les amplifier ou à les atténuer. De plus, cette étude confirme que le compromis entre l’exactitude et l’équité n’est pas universel et varie selon la méthode, le jeu de données et le niveau d’élagage. Ce mémoire se termine par des recommandations pratiques à l’intention des chercheurs et des praticiens. Le choix de la méthode d’élagage doit être guidé par la sensibilité du jeu de données aux perturbations d’équité, la stabilité des relations métriques sous l’élagage, ainsi que les objectifs d’équité propres à la tâche considérée.un élagage trop fort est déconseillé pour les jeux de données instables, sauf si des méthodes stables sont rigoureusement sélectionnées. Il est également recommandé de mener des analyses diagnostiques spécifiques avant toute application pratique. Bien que cette étude porte sur deux jeux de données et trois métriques d’équité, elle constitue un socle d’analyse structuré et ouvre la voie à des travaux futurs plus étendus. Des recherches complémentaires pourraient intégrer d’autres jeux de données, des modèles d’ensemble alternatifs et des mesures de complexité computationnelle pour identifier des configurations optimales. Ce travail contribue ainsi à une meilleure compréhension des impacts de l’élagage sur l’équité dans les forêts aléatoires et fournit un cadre de référence pour les recherches futures.