New Faithfulness-Centric Interpretability Paradigms for Natural Language Processing

L’apprentissage automatique, en particulier les réseaux de neurones, est aujourd’hui fréquemment utilisé dans de nombreuses applications, telles que l’évaluation des prêts, les résultats de recherche et les recommandations d’embauche. Ces systèmes fournissent souvent des décisions automatisées qui affectent la vie de la plupart des gens. Ces dernières années, les applications de traitement automatique du language naturel (TALN) ont connu un essor considérable, car des modèles polyvalents et très efficaces en termes de données sont devenus disponibles, en particulier les systèmes de chat, qui sont désormais largement utilisés, même directement par le grand public. Malheureusement, ces systèmes ne sont pas exempts de défauts. Bien que dans les systèmes d’embauche, il existe des cas documentés de discrimination fondée sur le sexe, comme le fait de favoriser "Chess club member" et de défavoriser "Women’s Chess Club member" dans un curriculum vitae, ou un système qui pense qu’un diplôme en informatique est une qualification nécessaire pour être dactylographe dans un hôpital. Si le premier peut peut-être être atténué en analysant le modèle pour détecter les préjugés sexistes et les corriger, le second est si spécifique qu’il ne peut être révélé qu’en expliquant la prédiction du modèle. L’interprétabilité est le domaine qui traite de l’explication des modèles et des ensembles de données aux humains en termes compréhensibles. L’objectif est généralement d’éviter un comportement indésirable, comme dans les exemples ci-dessus. Malheureusement, ce domaine est souvent confronté avec des défis dû à la production d’explications erronées, c’est-à-dire qui ne reflètent pas le modèle. Par exemple, une explication qui indique quels mots sont importants n’est pas forcément meilleure qu’une simple indication de mots au hasard. Lorsqu’une explication reflète le modèle, cela consiste en une explication fidèle.