Q-matrix Refinement, Design and Derivation

La Q-matrice établit la correspondance entre les items et les compétences d'un étudiant. Elle revêt une grande importance pour l'évaluation en éducation, mais sa définition et sa validation demeurent un défi, car les véritables relations items-compétences ne peuvent jamais être observées. Les sujets de recherche de cette thèse tournent autour de ce défi, notamment le raffinement d'une Q-matrice définie par un expert, la conception de la Q-matrice la plus efficace, de même que la dérivation de la Q-matrice pilotée par les données. Grâce à l'apprentissage automatique, nous disposons maintenant d'outils puissants pour résoudre ces problèmes. Nous passons d'abord en revue les modèles et algorithmes associés utilisés dans notre recherche, puis consacrons des chapitres distincts à trois sujets et contributions distinctes. Le premier sujet est le problème de l'affinement de la Q-matrice, c'est-à-dire la recherche d'une correspondance plus précise entre les items et les compétences que celle prédéfinie. Après avoir d'abord passé en revue trois techniques de raffinement de matrices-Q, à savoir maxDiff, minRSS et ALS, nous proposons ensuite d'utiliser un arbre de décision pour combiner leurs résultats afin d'améliorer leur performance individuelle. Enfin, nous montrons qu'avec la technique de boosting, nous pouvons encore augmenter les performances de l'arbre de décision. Le deuxième sujet concerne le problème de conception de Q-matrice, qui consiste à trouver une Q-matrice capable de diagnostiquer le plus efficacement possible les profils des étudiants. Nous montrons d'abord que le principe d'identifiabilité est un facteur de qualité déterminant et qu'une Q-matrice non conforme à ce principe ne permet pas d'évaluer correctement les performances des étudiants. Ensuite, les exigences théoriques pour les identifiabilités de paramètres dans le modèle DINA sont passées en revue, car elles servent de guide pour notre stratégie de conception de Q-matrice. Par la suite, nous avons effectué deux expériences pour comparer différentes stratégies de conception de Q-matrice. Le résultat montre que la meilleure stratégie consiste à répéter les vecteurs unitaires lors de la construction d'une Q-matrice. Enfin, une argumentation théorique est avancée pour valider notre revendication de la meilleure stratégie de conception de Q-matrice. Le dernier sujet est le problème de dérivation de la Q-matrice à partir des données de performance observées des étudiants, sans l'aide d'une Q-matrice prédéfinie. Les techniques de Hill Climbing, LASSO, NMF et ALS sont passées en revue, puis nous proposons notre nouvelle méthode non paramétrique, IRPtoQ, qui utilise le résultat d'un algorithme de clustering (agglomération) et interprète les centres de clusters comme des modèles de réponse idéaux. Les performances d'IRPtoQ sont comparées à d'autres algorithmes dans différents contextes d'expérimentation. Les résultats montrent que IRPtoQ surpasse les autres méthodes dans la plupart des cas.

Abstract

Q-matrix as a tool for mapping items to skills is of great importance in educational assessment. However, a Q-matrix is merely a way to manually define the mapping between item and skills, since the genuine relationships between them can never be observed. Therefore, the refinement of an expert-given Q-matrix, the design of the most efficient Q-matrix, and the data-driven derivation of the Q-matrix are the research topics of this thesis. With the help of machine learning, now we have more tools to tackle these problems. We first review the related models and algorithms used in our research and then devote separate chapters to each topic. The first topic is the Q-matrix refinement problem, that is, to find a more accurate mapping between items and skills than pre-given one. We first reviewed three existing techniques, which are maxDiff, minRSS and ALS respectively. Then we propose to use a decision tree to combine their results in order to achieve better performance. Finally, we show that with boosting technique applied, we can even further increase the performance of the decision tree. The second topic is the Q-matrix design problem, which is to find a Q-matrix being able to diagnose student profiles the most efficiently. We first show an example of an unqualified Qmatrix, which fails to correctly assess student performance. Then the theoretical requirements for parameter identifiability in the DINA model are reviewed, as they are the guidance for our Q-matrix design strategy. Subsequently, we run two experiments to compare different Qmatrix design strategies, and the results show that the best strategy is to repeat unit vectors in building a Q-matrix. Finally, a theoretical discussion is offered to validate our claim for the best Q-matrix design strategy. And the last topic is the Q-matrix derivation problem, which is to derive a Q-matrix directly from the observed student performance data, without aid of a pre-given Q-matrix. Techniques of Hill Climbing, LASSO, NMF and ALS are reviewed, then we propose our new nonparameter method, IRPtoQ, which utilizes the result of a clustering algorithm, and interprets the cluster centers as ideal response patterns. The performance of IRPtoQ is compared with other algorithms under different experiment settings. Results show that IRPtoQ is outperforming other methods in most cases.