Analyses de journalisation d'utilisation d'un guide d'étude informatisé en mathématiques pour étudiants en génie

Cette thèse porte sur la façon dont on peut étudier avec un outil disponible en ligne. Un guide d'étude en ligne est ici présenté ainsi qu'une méthodologie d'analyse des traces produites par une journalisation des actions des utilisateurs. Après l'utilisation du guide par 116 utilisateurs, une analyse de cette journalisation assortie d'entrevues avec des utilisateurs révèle un certain nombre de comportements. Le guide est un exerciseur de 1030 problèmes de mathématiques répartis dans 144 sujets couvrant 10 thèmes de mathématiques de niveau préuniversitaire. Il est assorti de l'équivalent de 152 pages de notes comprenant des explications, des théorèmes et des exemples. Et c'est lors de leur admission que les étudiants de l'École Polytechnique de Montréal sont invités à évaluer par un test en ligne si leurs connaissances en mathématiques sont adéquates pour poursuivre une formation en génie. À ce moment, ils sont invités à utiliser le guide. La méthodologie est conçue pour comprendre comment les étudiants utilisent l'exerciseur par l'extraction de patrons d'utilisation à partir de données journalisées. L'analyse des actions des utilisateurs est notamment traduite dans des diagrammes d'états qui permettent de constater visuellement l'émergence de ces patrons. La journalisation a ainsi permis de répertorier trois modes d'utilisation de l'application : un mode exploratoire, un mode de consultation des notes et un mode d'exécution des exercices. Le mode exploratoire correspond surtout à un parcours des exercices. C'est le stade « d'acceptation » de l'application sans que l'utilisateur se compromette à ce que la littérature identifie comme une « continuité d'utilisation ». Le mode de consultation des notes consiste d'abord à consulter des notes et accessoirement à exécuter quelques exercices. Le mode d'exécution des exercices, à l'inverse, consiste à résoudre des exercices et à consulter les notes pour faciliter l'exécution des exercices. L'analyse de la journalisation doit tenir compte d'un phénomène décrit par la littérature sous la terminologie « d'engagement ». La contrepartie de « l'engagement » est le « désengagement » qui correspond à des moments où l'utilisateur n'utilise pas l'application pour ce à quoi elle est conçue alors qu'il vaque à d'autres occupations bien qu'il soit connecté. Dans le contexte de ce guide d'étude, il est assez facile d'appliquer la notion « d'engagement » lors du parcours des exercices. Il est plus périlleux de l'appliquer au mode de consultation des notes ou d'exécution des exercices. En effet la consultation des notes ne correspond pas qu'à la seule prise de connaissances des informations affichées sur les pages et c'est encore plus vrai pour l'exécution des exercices qui exige une charge cognitive encore plus élevée. Un utilisateur a exécuté les 1030 exercices en un peu moins de 155 heures. 55 utilisateurs ont exécuté des exercices. Un expert a été sollicité pour résoudre les 1030 exercices et le temps qu'il y a consacré a été retenu à des fins de comparaison et d'analyse. Il est difficile d'interpréter le temps de résolution des exercices. Ainsi, lorsque les temps d'exécution des exercices sont scrutés à l'échelle d'un sujet, il n'y a pas de corrélation entre les temps d'exécution des utilisateurs et ceux de l'expert. Par contre, on peut constater de fortes corrélations à l'échelle des modules lorsqu'on compare la somme des temps d'exécution par sujet des utilisateurs qui ont résolu tous les exercices. En d'autres termes, si on peut comparer les temps d'exercices les uns aux autres, on peut les comparer d'un sujet à l'autre entre étudiants et experts. Une analyse des rapports entre les temps des utilisateurs et celui de l'expert a été faite afin d'évaluer si ce rapport diminuait entre le premier exercice et le dernier exercice d'un même sujet. Dans 60 % des cas on constate une pente négative de cette courbe qui permettrait d'interpréter une progression de l'apprentissage. Cette présomption repose sur le fait que l'utilisateur a bien résolu l'exercice lorsqu'il a pris connaissance de la réponse et que le temps mesuré par la journalisation n'est pas trop contaminé par des désengagements. La plupart des utilisateurs ont d'abord exécuté les exercices des deux premiers modules. Enfin, deux versions de l'application ont été mises en production. Par contre, une autre disposition de la deuxième version a eu un effet non prévu sur l'utilisation du guide. En effet, un exercice par sujet a été d'abord rendu accessible aux utilisateurs. Ainsi, par exemple, en ouvrant l'application, les utilisateurs avaient accès à 30 exercices : un exercice pour chacun des sujets du module « Exposants et radicaux ». La majorité des utilisateurs de la deuxième version qui ont exécuté des exercices ont donc systématiquement fait un exercice par sujet. Ainsi, les utilisateurs ont donc tendance à exécuter les exercices dans l'ordre qui leur est présenté. Deux analyses qui contribuent à la recherche rapportée par cette thèse sont rapportées. La première (Lemieux, Desmarais & Robillard, 2013) propose une façon innovatrice de présenter graphiquement les séquences temporelles d'actions des utilisateurs. Elle identifie une catégorisation des utilisateurs par niveaux de motivations. Les utilisateurs s'y distinguent par le temps total qu'ils consacrent à l'application : moins de une minute pour le premier niveau, une à 10 minutes pour le deuxième niveau, 10 minutes à deux heures pour le troisième niveau et plus de deux heures pour le quatrième niveau. Les utilisateurs des premier et deuxième niveaux n'ont pas tendance à faire des exercices. Par ailleurs, il n'y a pas de lien entre le résultat du prétest et la volonté d'utiliser le guide. Les étudiants utilisent plus ou moins le guide sans égard au résultat obtenu. L'autre analyse (Desmarais & Lemieux, 2013) propose, elle, d'identifier des comportements d'utilisateur à partir de séquences d'activités. Six types d'agrégations d'actions sont identifiés eux-mêmes regroupés en trois types de comportements qui sont dominés par l'exécution des exercices, l'exploration des notes et des exercices et par des patrons d'utilisation variés. Les données tirées de la journalisation du guide d'étude recèlent d'informations qui gagneront à être explorées en profondeur. La recherche future devrait s'orienter vers une meilleure identification de la « continuité d'utilisation » et de « l'engagement » lorsque d'autres données seront disponibles et que l'utilisation de l'application pourra être mesurée dans des conditions contrôlées. Cela permettra d'identifier la motivation extrinsèque et la motivation intrinsèque qui animent les utilisateurs. Les contributions de cette recherche sont une représentation graphique des actions des utilisateurs pour ce type de guide d'étude, une catégorisation des modes d'utilisation de ce guide, de preuves de l'existence d'un apprentissage et la constatation qu'une proportion appréciable des utilisateurs suivent l'ordre d'exécution des exercices proposé par le guide.