Computational Profile Likelihood for Fairness Evaluation and Correction of Deep Neural Network Classifiers

L’apprentissage machine a gagné en popularité ces dernières années, et se retrouve appliqué dans de plus en plus de secteurs, notamment dans des domaines critiques, comme la défense, la santé ou les transports. L’entraînement de modèles d’apprentissage requiert de grandes quantités de données, dont certaines peuvent présenter des biais propres à l’humain et aux sociétés. En conséquence, il est crucial d’assurer que ces modèles ne reproduisent ni n’amplifient ces schémas néfastes. L’objectif de ce travail est d’étudier en détail la structure des réseaux de neurones profonds pour tenter de quantifier la discrimination des prédictions associées. Plus précisément, dans le cadre de la classification binaire, nous étudions la distribution statistique des niveaux d’activation des neurones d’un classificateur, et nous les comparons entre individus possédant des caractéristiques sensibles différentes (par exemple entre les hommes et les femmes). Pour cela nous utilisons une mesure, appelée Computational Profile Likelihood (CPL), qui est initialement définie dans le cadre de la détection de données situées hors des distributions rencontrées lors de l’entraînement de modèles. Nous exploitons cet outil pour évaluer la vraisemblance qu’un individu appartienne à une classe de sortie donnée, en fonction des niveaux d’activation internes du réseau. Ainsi, cette mesure permet d’avoir une intuition sur le “raisonnement” interne du classificateur, et fournit des informations essentielles pour comprendre les biais qui pourraient exister dans ce modèle. Contrairement à de nombreuses méthodes de détection de biais, CPL ne nécessite pas l’entraînement d’un second modèle, et repose plutôt sur des estimations non-paramétriques de densités. CPL peut s’appliquer à n’importe quel modèle de réseaux de neurones profonds. En ce sens, ce travail propose de compléter la littérature de l’équité algorithmique avec une stratégie robuste d’évaluation et de correction de biais

Abstract

Machine learning has gained significant popularity in recent years in a growing number of sectors, including critical areas such as defense, health and transport. The training of these models use large amounts of data, some of which may present human and societal biases. Therefore, it is crucial to ensure that these tools do not perpetuate or exacerbate these harmful patterns. This work aims to study in detail the structure of deep neural networks to detect and address injustices in the decision-making process. Specifically, in the context of binary classification, we analyze the statistical distribution of the levels of activation of the neurons of a classifier, and we compare them between individuals with different sensitive characteristics (for example, between men and women). We employ a measure called Computational Profile Likelihood (CPL), initially designed to detect out-of-distribution inputs. We harness this tool to assess the likelihood that an individual belongs to a specific output class, based on internal activation levels of the network. This tool offers insights into the “reasoning” of the classifier’s decisions, providing valuable context for understanding potential biases. Unlike many bias detection methods, CPL does not require additional model training, relies on nonparametric density estimations, and can be implemented in any deep neural network model. From this perspective, this work aims to complete the algorithmic fairness literature with a robust bias evaluation and correction strategy. In the first axis, we compare CPL distributions between different demographic groups of three databases. We validate this approach experimentally on groups defined by a sensitive attribute such as ethnicity, age, or gender. For this, neural networks are trained on each database, and the CPL distributions are plotted. The findings reveal that significant disparities exist between sensitive groups most of the time, which suggests the existence of a bias in the network. Following this observation, we apply bias mitigation techniques to the data before re-examining CPL distributions. Specifically, we employ two methods: correlation remover and disparate impact remover. Differences between sensitive groups still exist, but are much less present than before. These results show that these techniques are certainly effective in reducing an existing bias, but not eliminating it.