Natural Language Reasoning with Transformer Language Models

En raison de la popularité croissante des modèles de langage à base de Transformers (TLMs), il est de plus en plus nécessaire de mieux comprendre leurs forces et leurs limites s’ils doivent être utilisés pour aider les humains à résoudre des tâches complexes avec des implications réelles. Cette thèse se concentre particulièrement sur leurs capacités de raisonnement à plusieurs étapes, car il s’agit à la fois d’une faiblesse des modèles de langage et d’une direction de recherche potentiellement impactante. Tout d’abord, la généralisation compositionnelle des TLMs est évaluée sur une tâche de raisonnement logique en langage naturelle. Des modèles de Transformers décodeurs sont entraînés à répondre à des questions de prédiction de lien entre des personnes en raisonnant sur leurs relations intermédiaires. En particulier, pour mieux comprendre comment les TLMs raisonnent, les modèles sont entraînés à générer différents types d’explications en langage naturel (preuves) avant de générer leur réponse finale. L’exactitude des réponses et des preuves sont évaluées sur des problèmes nécessitant un nombre spécifique d’étapes de raisonnement qui ne sont pas vues pendant l’entraînement. Cette première contribution confirme que les TLMs souffrent de problèmes de généralisation lorsqu’ils sont testés sur des problèmes plus longs que ceux pour lesquels ils ont été entraînés. De plus, elle révèle que les TLMs généralisent mieux lorsqu’ils sont entraînés sur des preuves exhaustives et longues que sur des preuves courtes. Les résultats montrent également que les TLMs généralisent mieux lorsqu’ils sont entraînés à générer des chaines de preuves inverse (“backward-chaining”) plutôt que des chaînes directes (“forward-chaining”). Cependant, on observe également que les modèles entraînés à prédire directement la réponse finale sans générer d’explication logique généralisent mieux aux problèmes plus complexes. Cela suggère que les TLMs ont des stratégies de raisonnement interne difficiles à interpréter, et que bénéficier d’énoncés de preuves logiques naturelles nécessite des représentations internes plus complexes. Des expériences additionelles ont d’ailleurs montré que les modèles pré-entraînés ont de meilleures capacités de raisonnement bien qu’ils n’aient pas été explicitement entraînés à résoudre de telles tâches. Cette première contribution est publiée dans les “Advances in Neural Information Processing Systems (NeurIPS)” 2020.