Natural Language Reasoning with Transformer Language Models

En raison de la popularité croissante des modèles de langage à base de Transformers (TLMs), il est de plus en plus nécessaire de mieux comprendre leurs forces et leurs limites s’ils doivent être utilisés pour aider les humains à résoudre des tâches complexes avec des implications réelles. Cette thèse se concentre particulièrement sur leurs capacités de raisonnement à plusieurs étapes, car il s’agit à la fois d’une faiblesse des modèles de langage et d’une direction de recherche potentiellement impactante. Tout d’abord, la généralisation compositionnelle des TLMs est évaluée sur une tâche de raisonnement logique en langage naturelle. Des modèles de Transformers décodeurs sont entraînés à répondre à des questions de prédiction de lien entre des personnes en raisonnant sur leurs relations intermédiaires. En particulier, pour mieux comprendre comment les TLMs raisonnent, les modèles sont entraînés à générer différents types d’explications en langage naturel (preuves) avant de générer leur réponse finale. L’exactitude des réponses et des preuves sont évaluées sur des problèmes nécessitant un nombre spécifique d’étapes de raisonnement qui ne sont pas vues pendant l’entraînement. Cette première contribution confirme que les TLMs souffrent de problèmes de généralisation lorsqu’ils sont testés sur des problèmes plus longs que ceux pour lesquels ils ont été entraînés. De plus, elle révèle que les TLMs généralisent mieux lorsqu’ils sont entraînés sur des preuves exhaustives et longues que sur des preuves courtes. Les résultats montrent également que les TLMs généralisent mieux lorsqu’ils sont entraînés à générer des chaines de preuves inverse (“backward-chaining”) plutôt que des chaînes directes (“forward-chaining”). Cependant, on observe également que les modèles entraînés à prédire directement la réponse finale sans générer d’explication logique généralisent mieux aux problèmes plus complexes. Cela suggère que les TLMs ont des stratégies de raisonnement interne difficiles à interpréter, et que bénéficier d’énoncés de preuves logiques naturelles nécessite des représentations internes plus complexes. Des expériences additionelles ont d’ailleurs montré que les modèles pré-entraînés ont de meilleures capacités de raisonnement bien qu’ils n’aient pas été explicitement entraînés à résoudre de telles tâches. Cette première contribution est publiée dans les “Advances in Neural Information Processing Systems (NeurIPS)” 2020.

Abstract

Due to the growing popularity of Transformer Language Models (TLMs), there is an increasing need to better understand their strengths and limitations if they are to be widely used to help humans solve complex tasks with real-world implications. This thesis is particularly centered around their multi-step reasoning capabilities as it is both a weakness of language models and a potentially impactful research direction. First, the compositional generalization of TLMs is evaluated on a logical reasoning task in natural language. Transformer decoder models are trained to answer link-prediction questions by reasoning over relationships between entities. In particular, to better understand how TLMs reason, models are trained to generate various types of natural language explanations (proofs) before generating their final answer. Both the models’ answer accuracy and proof accuracy are evaluated on problems requiring specific numbers of reasoning steps that are not seen during training. This first contribution confirms that TLMs suffer from lengthgeneralization issues when tested on longer-than-trained problems. Additionally, it reveals that TLMs generalize better when trained on longer, exhaustive proofs than with shorter ones. Results also show that TLMs generalize better when trained to generate backward-chaining rather than forward-chaining proofs. However, it is also observed that models trained to predict the answer directly without generating a logical explanation generalize better to more complex problems. This suggests that TLMs have internal reasoning strategies that are hard to interpret and that benefiting from naturally stated logical proof statements requires more complex internal representations. Additional experiments showed for instance that pre-trained models have better reasoning capacities although not explicitly trained to solve such tasks. This first contribution is published as a conference paper in the Advances in Neural Information Processing Systems (NeurIPS) 2020.