Large Scale Conditional Multitask Learning for Natural Language Processing

Récemment, les “Masked Language Models” (MLMs) entrainés sur une large base de données non étiquetées ont généré des résultats de pointe pour plusieurs tâches dans le domaine du Traitement de Langage Naturel (NLP). Un grand nombre des soumissions les mieux classées au benchmark “General Language Understanding Evaluation” (GLUE) utilisent un modèle basé sur l'architecture “Bidirectional Encoder Representations from Transformers” (BERT).La formule “BERT + “fine tuning” par tâche individuelle” demeure prévalente dans la recherche ; cet outil permet en effet à plusieurs chercheurs d'aboutir à des résultats de pointe.Cependant, la méthode du “fine-tuning” manque d'efficacité quant à la quantité de paramètres utilisés, puisqu'il est probable qu'elle requière un nouveau modèle pour chaque tâche.De plus, cette méthode est susceptible d'entraîner la perte des connaissances acquises durant l'étape riche en données du pré-entraînement, ce qui pourrait affecter la performance de généralisation du modèle. L'Apprentissage Multi-Tâche (MTL) est une approche efficace par transfert inductif inspirée par les modes d'apprentissage de l'humain qui s'avère prometteuse dans le domaine du Traitement de Langage Naturel. Pourtant, le MTL n'atteint pas le même niveau de performance que l'approche du “fine-tuning” qui est encore appliquée après l'étape de l'Apprentissage Multi-Tâche dans plusieurs études. Ce manque de performance est dû aux difficultés additionnelles telles que le transfert négatif, le sur-apprentissage de tâches pauvresen données et la perte de connaissances.