Entity Typing with Natural Language Inference for Fine-Grained Named Entity Recognition

The centre of attention of this thesis is Fine-grained Named Entity Recognition (FgNER), which consists of detecting named entities in English texts and classifying each of them with a fine-grained type from a taxonomy. This taxonomy is composed of fine-grained types that are harder to assign to named entities than traditional types from the Named Entity Recognition task. In this thesis, our first objective is to train a Natural Language Inference (NLI) model based on a pre-trained language model to achieve the fine-grained Entity Typing (ET) task. We propose templates based on types to improve inference. Our second objective is to integrate our best ET model inside a FgNER model while keeping the complete system adaptable. We propose the three following integrations: using Named Entity Detection followed by ET, using a FgNER model combined with ET and finally a transfer learning from our ET model encoder and decoder’s weights to the weights of a FgNER model. Our research shows that our ET model is comparable to state-of-the-art approaches when using our NLI templates. We also successfully integrated ET in an encoder-decoder FgNER model.

Résumé

Le centre d’attention de ce mémoire est la reconnaissance d’entités nommées à fin degré de granularité (FgNER), qui consiste à détecter les mentions d’entités nommées dans des textes en anglais et à classifier chacune d’entre elles avec un type précis provenant d’une taxonomie. Cette taxonomie décrit des types "fins" qui sont plus complexes à assigner aux mentions que les types traditionnels de la reconnaissance d’entités nommées. Dans ce mémoire, notre premier objectif est de proposer un modèle d’inférence en langue naturelle (NLI) basé sur un modèle de langue pré-entrainé pour effectuer la tâche de typage d’entités à fin degré de granularité (ET) données en entrée. Nous proposons des patrons qui se basent sur les types pour améliorer l’inférence. Notre deuxième objectif est d’intégrer notre modèle d’ET dans un modèle complet de reconnaissance d’entités nommées (FgNER) tout en conservant des propriétés d’adaptabilité. Nous proposons les trois intégrations suivantes: un modèle de détection de mentions d’entités nommées suivi de notre modèle d’ET, un modèle de reconnaissance d’entités nommées FgNER combiné avec notre modèle d’ET et enfin une approche d’apprentissage par transfert utilisant les poids de l’encodeur et du décodeur de notre modèle d’ET pour les poids d’un modèle de FgNER. Notre recherche démontre que notre modèle de typage d’entités est comparable aux approches de l’état de l’art avec nos patrons de NLI. Nous avons également intégré avec succès notre modèle d’ET dans un modèle encodeur-décodeur de FgNER.