Analyses de journalisation d'utilisation d'un guide d'étude informatisé en mathématiques pour étudiants en génie

Cette thèse porte sur la façon dont on peut étudier avec un outil disponible en ligne. Un guide d'étude en ligne est ici présenté ainsi qu'une méthodologie d'analyse des traces produites par une journalisation des actions des utilisateurs. Après l'utilisation du guide par 116 utilisateurs, une analyse de cette journalisation assortie d'entrevues avec des utilisateurs révèle un certain nombre de comportements. Le guide est un exerciseur de 1030 problèmes de mathématiques répartis dans 144 sujets couvrant 10 thèmes de mathématiques de niveau préuniversitaire. Il est assorti de l'équivalent de 152 pages de notes comprenant des explications, des théorèmes et des exemples. Et c'est lors de leur admission que les étudiants de l'École Polytechnique de Montréal sont invités à évaluer par un test en ligne si leurs connaissances en mathématiques sont adéquates pour poursuivre une formation en génie. À ce moment, ils sont invités à utiliser le guide. La méthodologie est conçue pour comprendre comment les étudiants utilisent l'exerciseur par l'extraction de patrons d'utilisation à partir de données journalisées. L'analyse des actions des utilisateurs est notamment traduite dans des diagrammes d'états qui permettent de constater visuellement l'émergence de ces patrons. La journalisation a ainsi permis de répertorier trois modes d'utilisation de l'application : un mode exploratoire, un mode de consultation des notes et un mode d'exécution des exercices. Le mode exploratoire correspond surtout à un parcours des exercices. C'est le stade « d'acceptation » de l'application sans que l'utilisateur se compromette à ce que la littérature identifie comme une « continuité d'utilisation ». Le mode de consultation des notes consiste d'abord à consulter des notes et accessoirement à exécuter quelques exercices. Le mode d'exécution des exercices, à l'inverse, consiste à résoudre des exercices et à consulter les notes pour faciliter l'exécution des exercices. L'analyse de la journalisation doit tenir compte d'un phénomène décrit par la littérature sous la terminologie « d'engagement ». La contrepartie de « l'engagement » est le « désengagement » qui correspond à des moments où l'utilisateur n'utilise pas l'application pour ce à quoi elle est conçue alors qu'il vaque à d'autres occupations bien qu'il soit connecté. Dans le contexte de ce guide d'étude, il est assez facile d'appliquer la notion « d'engagement » lors du parcours des exercices. Il est plus périlleux de l'appliquer au mode de consultation des notes ou d'exécution des exercices. En effet la consultation des notes ne correspond pas qu'à la seule prise de connaissances des informations affichées sur les pages et c'est encore plus vrai pour l'exécution des exercices qui exige une charge cognitive encore plus élevée. Un utilisateur a exécuté les 1030 exercices en un peu moins de 155 heures. 55 utilisateurs ont exécuté des exercices. Un expert a été sollicité pour résoudre les 1030 exercices et le temps qu'il y a consacré a été retenu à des fins de comparaison et d'analyse. Il est difficile d'interpréter le temps de résolution des exercices. Ainsi, lorsque les temps d'exécution des exercices sont scrutés à l'échelle d'un sujet, il n'y a pas de corrélation entre les temps d'exécution des utilisateurs et ceux de l'expert. Par contre, on peut constater de fortes corrélations à l'échelle des modules lorsqu'on compare la somme des temps d'exécution par sujet des utilisateurs qui ont résolu tous les exercices. En d'autres termes, si on peut comparer les temps d'exercices les uns aux autres, on peut les comparer d'un sujet à l'autre entre étudiants et experts. Une analyse des rapports entre les temps des utilisateurs et celui de l'expert a été faite afin d'évaluer si ce rapport diminuait entre le premier exercice et le dernier exercice d'un même sujet. Dans 60 % des cas on constate une pente négative de cette courbe qui permettrait d'interpréter une progression de l'apprentissage. Cette présomption repose sur le fait que l'utilisateur a bien résolu l'exercice lorsqu'il a pris connaissance de la réponse et que le temps mesuré par la journalisation n'est pas trop contaminé par des désengagements. La plupart des utilisateurs ont d'abord exécuté les exercices des deux premiers modules. Enfin, deux versions de l'application ont été mises en production. Par contre, une autre disposition de la deuxième version a eu un effet non prévu sur l'utilisation du guide. En effet, un exercice par sujet a été d'abord rendu accessible aux utilisateurs. Ainsi, par exemple, en ouvrant l'application, les utilisateurs avaient accès à 30 exercices : un exercice pour chacun des sujets du module « Exposants et radicaux ». La majorité des utilisateurs de la deuxième version qui ont exécuté des exercices ont donc systématiquement fait un exercice par sujet. Ainsi, les utilisateurs ont donc tendance à exécuter les exercices dans l'ordre qui leur est présenté. Deux analyses qui contribuent à la recherche rapportée par cette thèse sont rapportées. La première (Lemieux, Desmarais & Robillard, 2013) propose une façon innovatrice de présenter graphiquement les séquences temporelles d'actions des utilisateurs. Elle identifie une catégorisation des utilisateurs par niveaux de motivations. Les utilisateurs s'y distinguent par le temps total qu'ils consacrent à l'application : moins de une minute pour le premier niveau, une à 10 minutes pour le deuxième niveau, 10 minutes à deux heures pour le troisième niveau et plus de deux heures pour le quatrième niveau. Les utilisateurs des premier et deuxième niveaux n'ont pas tendance à faire des exercices. Par ailleurs, il n'y a pas de lien entre le résultat du prétest et la volonté d'utiliser le guide. Les étudiants utilisent plus ou moins le guide sans égard au résultat obtenu. L'autre analyse (Desmarais & Lemieux, 2013) propose, elle, d'identifier des comportements d'utilisateur à partir de séquences d'activités. Six types d'agrégations d'actions sont identifiés eux-mêmes regroupés en trois types de comportements qui sont dominés par l'exécution des exercices, l'exploration des notes et des exercices et par des patrons d'utilisation variés. Les données tirées de la journalisation du guide d'étude recèlent d'informations qui gagneront à être explorées en profondeur. La recherche future devrait s'orienter vers une meilleure identification de la « continuité d'utilisation » et de « l'engagement » lorsque d'autres données seront disponibles et que l'utilisation de l'application pourra être mesurée dans des conditions contrôlées. Cela permettra d'identifier la motivation extrinsèque et la motivation intrinsèque qui animent les utilisateurs. Les contributions de cette recherche sont une représentation graphique des actions des utilisateurs pour ce type de guide d'étude, une catégorisation des modes d'utilisation de ce guide, de preuves de l'existence d'un apprentissage et la constatation qu'une proportion appréciable des utilisateurs suivent l'ordre d'exécution des exercices proposé par le guide.

Abstract

This thesis investigates how people study with an online tool. An eLearning study guide is presented actions and a new methodology to analyze its users log traces is introduced. The methodology is shown successful in revealing study patterns of the 116 users who used the learning environments. Interviews complement the log analysis. The study guide is an exerciser that includes 1030 problems spread across144 subjects on 10 mathematics themes at the pre-university level. The exerciser comprises 152 pages of notes including explanations, theorems and examples. When admitted, École Polytechnique de Montréal students' are invited to take a self-assessment test. Their mathematics skills are courses assessed with regards to prerequisite knowledge of the first year engineering courses. Once the test is completed, they are invited to use the online study guide. A methodology is developed to better understand how students use the exerciser to study, and to extract usage patterns from the data. It relies on the analysis of user events log data to derive state diagrams that can be displayed visually, and from which patterns of use emerge. The patterns that emerge show three usage modes of the application: an exploratory mode, a consulting notes mode and an exercise execution mode. The exploratory mode is mainly a walk through exercises without longer term involvement. It corresponds to the “acceptation” of the application without user compromising to “continuance intention”, as known in eLearning literature. Log analysis must take in account a phenomenon called “engagement” where its counterpart “disengagement” happens when connected user gets involved in activities not related the application. While “disengagement” is easily detectable during exercises navigation, it harder to detect during notes consulting and exercises execution. Note consulting is not only reading, no neither is exercises resolution. One user did all the 1030 exercises in approximately 155 hours. 55 users did exercises. An expert did the 1030 exercises and his time resolution was stored for analysis usage. An expert did the 1030 exercises and his time resolution was stored for analysis. Exercise resolution times are hard to interpret. There are some strong correlations in specific contexts. But, when time resolutions of all the exercises in a subject are considered, there are no correlations between expert time and users' times. A ratio analysis of user time and expert time has been done to determine if a decrease could be observed between the first exercise and the last exercise of a subject. A negative slope is observed for 60 % of the subjects where exercises were done. A learning progress can be interpreted form these data if the user had effectively resolved the exercises when he validated the answer and if time measured through log data is not corrupted by disengagement. Most of the users did exercises from the first 2 modules. According to the data, at least 40% of the users did follow the presented order of the application. On the other hand, two versions of the application were used. In the second version, an exercise by subject was directly available at the first level menu. So by clicking the first module menu, there were 30 exercises extracted from each of the subjects into the module. Log analysis reveals that a vast majority of the users using the second version of the application did one exercise by subject rather than all the exercises within the subjects. They also did the exercises as presented by the application. In addition to the research contributions described above, the thesis also includes two papers that respectively report investigations on short term vs. long term usage patterns, and on clustering of usage patterns. The first paper (Lemieux et al., 2013) introduces a variant of the activity visualization method, and how to use it to classify users based on their as measured by their duration of use. It shows that short term users (10 minutes and less) typically are not involved in doing exercises. Another finding is that the result of a student at the pre-test, aiming specifically at identifying potential shortcomings of math prerequisites, is not a good predictor of the long term use of the study guide. In spite of the fact that the study guide was intended to address the shortcomings for low performers at the pre-test, both low and high performers are in long term use almost indistinctively. The second paper (Desmarais & Lemieux, 2013) investigates the use of clustering techniques to automatically derive usage patterns. It relies on the Levenshtein distance between activity state sequence to agglomerate similar study sessions. Six types of study sessions are derived and displayed by the visualization technique introduced in the thesis. The visualization allows for a clear interpretation of the six clusters into three main categories that are more or less in line with the patterns (modes) described in the thesis, namely short term explorers that stop usage after a short period, sessions where students are mostly browsing through notes and exercises, and sessions where students are involved in exercise problem solving. The study also shows that new sessions can be reliably classified in the six clusters. Data from the study guide log files are contain a wealth of information to investigate how students study with an online tool, and this thesis introduces methods to visualize and understand this type of data. Future research would be oriented toward “continuance intention” and “engagement”. New data in controlled experimental conditions would be useful for this aim. Contributions of this research are an innovative way of presenting graphically users actions for this type of study guide, a way to categorize usage modes of this guide, some evidence indicators of learning and an exercises execution order fixed by the guide followed by a large part of the users.