Pruning Strategies in Random Forests: The Interplay Between Model Compression and Fairness

Ce mémoire présente une étude approfondie de l’impact des méthodes d’élagage appliquées aux forêts aléatoires sur le compromis entre la performance prédictive et les mesures d’équité. Dans un contexte où l’équité algorithmique devient une préoccupation majeure, il est essentiel de comprendre comment les techniques de compression des modèles influencent ces métriques de manière multidimensionnelle. Cette recherche vise à explorer systématiquement ces effets selon plusieurs dimensions – les caractéristiques des jeux de données, les méthodes d’élagage utilisées et les niveaux d’élagage appliqués – dans le but de fournir des connaissances fondamentales et des recommandations exploitables pour la communauté scientifique. L’objectif principal de cette étude est de déterminer dans quelle mesure les méthodes structurées d’élagage interagissent avec les biais initiaux des jeux de données et modifient les relations entre la précision des modèles et trois métriques d’équité clés : la différence de parité démographique, la différence d’égalité des chances et la différence de parité prédictive. L’étude examine également si certaines configurations d’élagage peuvent offrir des points d’équilibre stables permettant de préserver à la fois la performance prédictive et l’équité. Pour répondre à ces objectifs, nous avons mené des expériences sur deux jeux de données distincts — le jeu de données sur les revenus et le jeu de données sur le temps de déplacement — chacun présentant des niveaux de stabilité et des structures de biais différents. Quatre méthodes d’élagage structurées (élagage par classement, élagage par regroupement, élagage MIQP et élagage glouton) ont été étudiées, en comparaison avec une méthode d’élagage aléatoire servant de base de référence. Chaque méthode a été appliquée à différents pourcentages d’élagage et les modèles résultants ont été évalués en termes d’exactitude et d’équité. Notre méthodologie expérimentale suit une approche multidimensionnelle : • Une première analyse globale regroupe les résultats à travers tous les niveaux d’élagage et les jeux de données afin d’identifier les tendances générales. • Une analyse plus détaillée est ensuite réalisée en intégrant les dimensions du jeu de données et du niveau d’élagage, à l’aide de visualisations telles que des diagrammes en boîte, des nuages de points, des diagrammes radar et des matrices de corrélation. • Enfin, chaque méthode est examinée individuellement afin d’évaluer sa sensibilité à l’élagage, son impact sur les relations entre métriques d’équité et sa robustesse dans différents scénarios. Les résultats montrent que l’effet de l’élagage sur l’équité et l’exactitude n’est pas universel, mais fortement dépendant des propriétés du jeu de données et de la méthode utilisée. L’élagage par classement apparaît comme le plus sensible, provoquant de fortes variations métriques, notamment sur le jeu de données travel time. À l’inverse, l’élagage par regroupement démontre la plus grande stabilité et prévisibilité. Bien que les méthodes d’élagage glouton et MIQP montrent une certaine stabilité, elles peuvent, à des niveaux d’élagage forts, modifier de manière imprévisible les relations entre les métriques d’équité, en particulier sur les jeux de données sensibles. La magnitude de ces changements reste toutefois contenue dans des limites acceptables. Un constat clé de ce travail est que la plupart des méthodes d’élagage ne changent pas la direction des biais initiaux présents dans les jeux de données, mais tendent plutôt à les amplifier ou à les atténuer. De plus, cette étude confirme que le compromis entre l’exactitude et l’équité n’est pas universel et varie selon la méthode, le jeu de données et le niveau d’élagage. Ce mémoire se termine par des recommandations pratiques à l’intention des chercheurs et des praticiens. Le choix de la méthode d’élagage doit être guidé par la sensibilité du jeu de données aux perturbations d’équité, la stabilité des relations métriques sous l’élagage, ainsi que les objectifs d’équité propres à la tâche considérée.un élagage trop fort est déconseillé pour les jeux de données instables, sauf si des méthodes stables sont rigoureusement sélectionnées. Il est également recommandé de mener des analyses diagnostiques spécifiques avant toute application pratique. Bien que cette étude porte sur deux jeux de données et trois métriques d’équité, elle constitue un socle d’analyse structuré et ouvre la voie à des travaux futurs plus étendus. Des recherches complémentaires pourraient intégrer d’autres jeux de données, des modèles d’ensemble alternatifs et des mesures de complexité computationnelle pour identifier des configurations optimales. Ce travail contribue ainsi à une meilleure compréhension des impacts de l’élagage sur l’équité dans les forêts aléatoires et fournit un cadre de référence pour les recherches futures.

Abstract

This thesis presents a comprehensive study on the impact of random forest pruning methods on the fairness–accuracy trade-offs in predictive models. With growing concerns about algorithmic fairness, understanding how post-training model compression techniques such as pruning affect fairness metrics has become increasingly critical. This work aims to systematically explore these effects across multiple dimensions —dataset characteristics, pruning methods, and pruning levels— and to provide foundational insights that can guide future research and practical applications. The core objective of this research is to determine how structured pruning methods interact with inherent dataset biases and influence the relationships between accuracy and three key fairness metrics: Demographic Parity Difference, Equalized Odds Difference, and Predictive Parity Difference. The study also investigates whether certain pruning configurations can serve as stable trade-off points, preserving fairness and predictive performance. To address these objectives, experiments are conducted using two distinct datasets — the income dataset and the travel time dataset — which differ in terms of data variability and underlying bias characteristics. Four structured pruning methods (Rank Pruning, Cluster Pruning, MIQP Pruning, and Greedy Pruning) are analyzed alongside a random pruning baseline. Each method is applied across a range of pruning percentages, and the resulting models are evaluated with respect to both predictive accuracy and fairness metrics. The experimental methodology consists of a multi-dimensional approach: • First, high-level analyses aggregate results across datasets and pruning levels to capture overall trends. • Subsequently, a more detailed analysis incorporates dataset and pruning-level dependencies, with visual explorations through boxplots, scatter plots, spider charts, and correlation heatmaps. • Finally, each method is evaluated individually to assess its sensitivity to pruning, its effect on fairness metric interrelationships, and its robustness in different scenarios. Our results demonstrate that the impact of pruning on fairness and accuracy is not universal; it is highly dependent on the dataset properties and the chosen pruning method. Rank Pruning is shown to be the most sensitive, with large metric shifts, particularly in unstable datasets such as the travel time dataset. In contrast, Cluster Pruning demonstrates the greatest overall stability and predictability across different datasets and pruning levels. Although Greedy Pruning and MIQP Pruning show relative stability, at high pruning levels, they can unpredictably alter the interrelationships between fairness metrics, especially in more sensitive datasets. While the magnitude of these shifts remains within acceptable ranges, their direction can vary depending on dataset characteristics, making these methods less predictable under extreme conditions. A key finding of this thesis is that while pruning methods do not fundamentally change the direction of the bias inherent in the dataset, they tend to either amplify or attenuate its magnitude, depending on the method and the degree of pruning applied. Additionally, we confirm that the fairness–accuracy trade-off is not universal. While predictive parity can sometimes improve with increased pruning, other fairness metrics may degrade, especially at higher pruning levels. The thesis concludes with practical recommendations for researchers and practitioners. The selection of pruning methods should be guided by the dataset’s sensitivity to fairness shifts, the stability of metric relationships under pruning, and the specific fairness objectives of the task. Extreme pruning is discouraged for highly sensitive datasets unless methods with proven stability are used. Moreover, practitioners are encouraged to conduct thorough scenariospecific diagnostics before applying pruning strategies. Although this study focuses on two datasets and three fairness metrics, it lays the groundwork for broader investigations. Future research can expand this multi-dimensional framework to include additional datasets, alternative ensemble models, and computational complexity measures to identify practical sweet spots. Overall, this thesis contributes essential reference insights for understanding and managing the fairness implications of pruning in random forests.