Knowledge Graph Construction from Pre-Trained Language Models

Les graphes de connaissances offrent une représentation utile de la connaissance générale, mais ils sont incomplets. Les grands modèles de langue ont des connaissances générales qu’ils ont apprises sur une grande quantité de texte non structuré, mais ils les stockent sous forme paramétrique, ce qui la rend difficile à exploiter. Ce mémoire étudie l’extraction de cette connaissance paramétrique, sans ressource extérieure, afin de construire ou compléter un graphe de connaissances. Le problème est formulé dans le cadre de la compétition LM–KBC qui défie les participants d’extraire le mieux possible certaines connaissances d’un modèle de langue. Notre solution ReWiSe produit plusieurs raisonnements et réponses puis les aggrège en tenant compte de connaissances spécifiques à cette relation ainsi que des contraintes du graphe. Nous introduisons en premier lieu HumanCoT, un petit ensemble de données avec des raisonnement rédigés à la main et spécifiques aux relations. Utilisés en prompt pour guider le modèle, ces exemples permettent de générer SyntheticCoT, un ensemble plus large de raisonnements systématiques conduisant aux bonnes réponses, qui sert d’exemples pour l’inférence sur le jeu de test. Par la suite, nous adaptons l’auto-cohérence aux schémas des graphes de connaissances. Pour effectuer une requête, nous produisons plusieurs générations et agrégeons les sorties au niveau des entités avec des stratégies par relation pour respecter leur schéma et cardinalité. Évalué sur LM–KBC 2025 avec Qwen3-8B, sans accès à des données externes ni affinage du modèle, ReWiSe remporte la compétition. Par la suite, au-delà du prompting, nous explorons les méthodes d’entraînement partiel (PEFT) sur SyntheticCoT afin de tester si, malgré le peu de données d’entraînement, les méthode usuelles d’entraînement améliorent la capacité à récupérer des connaissances dans les paramètres des modelès ; les améliorations sont inégales selon les relations. Nous publions le code complet de ReWiSe ainsi que les jeux de données HumanCoT et SyntheticCoT afin de favoriser la reproductibilité et de soutenir des travaux ultérieurs. Les résultats montrent que de petits patrons de raisonnement adaptés au schéma, combinés à une agrégation relationnelle au moment de l’inférence, suffisent à extraire de façon fiable des faits structurés de la mémoire paramétrique d’un modèle, constituant ainsi une référence qui n’utilise pas de données externes pour la construction de graphes de connaissances.