From "What" to "Why": Towards Causal Deep Learning

L’apprentissage profond a mené à beaucoup de progrès dans plusieurs disciplines, telles l’apprentissage par renforcement, le traitement du language naturel et la génération d’images, particulièment à partir d’instructions en language naturel. Mais les modèles dits profonds ont souvent de la difficulté à generaliser hors de leur distribution d’entraînement – quand les données-test diffèrent des données d’entraînement. L’attribution de crédit et l’exactitude causale sont des éléments-clé pour améliorer la généralisation. L’attribution de crédit implique une identification correcte des facteurs responsables d’un résultat, alors que l’exactitude causale implique une compréhension correcte des causes et effets. Ces deux éléments se renforcent l’un l’autre et ouvrent la voie à un raffinement efficace de modèles profonds. Cette thèse porte sur l’amélioration de la généralisation dans les modèles d’apprentissage profonds et donc de leur performance dans les scénarios non prévus du monde réel en perfectionnant leur attribution du crédit et en explorant l’intersection de la causalité et de l’apprentissage approfondi. Une de ces améliorations est de permettre une attribution de crédit «creuse» (sparse) et non «dense» aux facteurs responsables d’un résultat lors du traitement d’une longue séquence de données. Ceci est plus semblable aux mécanismes d’attribution de crédits temporelle de l’être humain, même sur des durées allongées. Cela mène à un modèle profond pour traitement de séquences plus apte à géneraliser hors de sa distribution d’entraînement.