Contextual Embeddings and Graph Convolutional Networks for Concept Prerequisite Learning as a Strict Partial Order

L'Identification de relations de Prérequis entre les Concepts (IPC) joue un rôle crucial dans le milieu éducatif. L'objectif de l’IPC est de prédire les relations de prérequis entre différents concepts. Dans ce mémoire, nous présentons une nouvelle approche pour l’IPC utilisant les Sentence Transformers et les Réseaux de Neurones Relationnels à Convolution de Graphes (RNRCG). Cette approche crée des plongements de concepts à partir de définitions de concepts en utilisant des Transformers. Ces plongements sont ensuite utilisés comme entrée par un RGCN, ainsi qu’une structure de graphe qui distingue les prérequis des non-prerequis. Notre première contribution est liée à l’identification et à la résolution d’un problème méthodologique présent dans les études précédentes. Nous proposons un nouvel algorithme pour la création d’ensembles d’entrainement et de test qui réduit de 55% à 0% le pourcentage de relations dans l’ensemble de test déductibles par transitivité grâce aux relations dans l’ensemble d’entrainement. Le nouvel algorithme de division des données rend l’IPC plus difficile à résoudre, mais aussi plus conforme à la réalité de la tâche, car il exclut les inférences simples qui utilisent la propriété de transitivité des relations de prérequis. Notre deuxième contribution concerne notre méthode de résolution de l’IPC. Notre RNRCG est optimisé simultanément afin de résoudre la tâche d’IPC et la tâche de classification du domaine des concepts. Ceci améliore la généralisation de l’identification des prérequis pour des domaines non vus dans l’entrainement. Nos expériences sur le jeu de données d’AL-CPL montrent l'efficacité de notre approche pour l’IPC intradomaine et interdomaine. En effet, nos résultats surpassent les méthodes de l'état de l'art sur ce jeu de données.

Abstract

Concept prerequisite learning (CPL) plays a crucial role in education. The objective of CPL is to predict prerequisite relations between different concepts. In this thesis, we present a new approach for CPL using Sentence Transformers and Relational Graph Convolutional Networks (R-GCNs). This approach creates concept embeddings from single-sentence definitions extracted from Wikipedia that are fed to a Transformer. These embeddings are then used as an input feature matrix for the R-GCN, in addition to a graph structure that distinguishes prerequisites and nonprerequisites as distinct link types. For our first contribution, we identified and solved a methodological problem present in previous studies. We introduced a novel algorithm for creating the training and test sets that reduced the percentage of relations in the test set that can be inferred by transitivity through the relations in the training set from 55% to 0%. The new data splitting algorithm makes CPL harder to solve, but also more in line with the reality of the task, since it excludes simple inferences that use the transitivity property of prerequisite relations. Our second contribution is the model we developed to solve CPL. Our model is based on R-GCN layers that are optimized simultaneously on CPL and concept domain classification to enhance prerequisite prediction generalization for unseen domains. Extensive experiments on the AL-CPL dataset show the effectiveness of our approach for the in-domain and cross-domain settings, as it outperforms the State-Of-The-Art (SOTA) method on this dataset.