Q-matrix Refinement, Design and Derivation

La Q-matrice établit la correspondance entre les items et les compétences d'un étudiant. Elle revêt une grande importance pour l'évaluation en éducation, mais sa définition et sa validation demeurent un défi, car les véritables relations items-compétences ne peuvent jamais être observées. Les sujets de recherche de cette thèse tournent autour de ce défi, notamment le raffinement d'une Q-matrice définie par un expert, la conception de la Q-matrice la plus efficace, de même que la dérivation de la Q-matrice pilotée par les données. Grâce à l'apprentissage automatique, nous disposons maintenant d'outils puissants pour résoudre ces problèmes. Nous passons d'abord en revue les modèles et algorithmes associés utilisés dans notre recherche, puis consacrons des chapitres distincts à trois sujets et contributions distinctes. Le premier sujet est le problème de l'affinement de la Q-matrice, c'est-à-dire la recherche d'une correspondance plus précise entre les items et les compétences que celle prédéfinie. Après avoir d'abord passé en revue trois techniques de raffinement de matrices-Q, à savoir maxDiff, minRSS et ALS, nous proposons ensuite d'utiliser un arbre de décision pour combiner leurs résultats afin d'améliorer leur performance individuelle. Enfin, nous montrons qu'avec la technique de boosting, nous pouvons encore augmenter les performances de l'arbre de décision. Le deuxième sujet concerne le problème de conception de Q-matrice, qui consiste à trouver une Q-matrice capable de diagnostiquer le plus efficacement possible les profils des étudiants. Nous montrons d'abord que le principe d'identifiabilité est un facteur de qualité déterminant et qu'une Q-matrice non conforme à ce principe ne permet pas d'évaluer correctement les performances des étudiants. Ensuite, les exigences théoriques pour les identifiabilités de paramètres dans le modèle DINA sont passées en revue, car elles servent de guide pour notre stratégie de conception de Q-matrice. Par la suite, nous avons effectué deux expériences pour comparer différentes stratégies de conception de Q-matrice. Le résultat montre que la meilleure stratégie consiste à répéter les vecteurs unitaires lors de la construction d'une Q-matrice. Enfin, une argumentation théorique est avancée pour valider notre revendication de la meilleure stratégie de conception de Q-matrice. Le dernier sujet est le problème de dérivation de la Q-matrice à partir des données de performance observées des étudiants, sans l'aide d'une Q-matrice prédéfinie. Les techniques de Hill Climbing, LASSO, NMF et ALS sont passées en revue, puis nous proposons notre nouvelle méthode non paramétrique, IRPtoQ, qui utilise le résultat d'un algorithme de clustering (agglomération) et interprète les centres de clusters comme des modèles de réponse idéaux. Les performances d'IRPtoQ sont comparées à d'autres algorithmes dans différents contextes d'expérimentation. Les résultats montrent que IRPtoQ surpasse les autres méthodes dans la plupart des cas.