Computational Profile Likelihood for Fairness Evaluation and Correction of Deep Neural Network Classifiers

L’apprentissage machine a gagné en popularité ces dernières années, et se retrouve appliqué dans de plus en plus de secteurs, notamment dans des domaines critiques, comme la défense, la santé ou les transports. L’entraînement de modèles d’apprentissage requiert de grandes quantités de données, dont certaines peuvent présenter des biais propres à l’humain et aux sociétés. En conséquence, il est crucial d’assurer que ces modèles ne reproduisent ni n’amplifient ces schémas néfastes. L’objectif de ce travail est d’étudier en détail la structure des réseaux de neurones profonds pour tenter de quantifier la discrimination des prédictions associées. Plus précisément, dans le cadre de la classification binaire, nous étudions la distribution statistique des niveaux d’activation des neurones d’un classificateur, et nous les comparons entre individus possédant des caractéristiques sensibles différentes (par exemple entre les hommes et les femmes). Pour cela nous utilisons une mesure, appelée Computational Profile Likelihood (CPL), qui est initialement définie dans le cadre de la détection de données situées hors des distributions rencontrées lors de l’entraînement de modèles. Nous exploitons cet outil pour évaluer la vraisemblance qu’un individu appartienne à une classe de sortie donnée, en fonction des niveaux d’activation internes du réseau. Ainsi, cette mesure permet d’avoir une intuition sur le “raisonnement” interne du classificateur, et fournit des informations essentielles pour comprendre les biais qui pourraient exister dans ce modèle. Contrairement à de nombreuses méthodes de détection de biais, CPL ne nécessite pas l’entraînement d’un second modèle, et repose plutôt sur des estimations non-paramétriques de densités. CPL peut s’appliquer à n’importe quel modèle de réseaux de neurones profonds. En ce sens, ce travail propose de compléter la littérature de l’équité algorithmique avec une stratégie robuste d’évaluation et de correction de biais