Évaluation de l'interface utilisateur d'un système d'aide à l'apprentissage de l'économie et conception d'une nouvelle interface

Le système d'aide à l'apprentissage de notions d'économie dont il est question dans ce mémoire propose de nombreuses expériences pédagogiques aux apprenants. C'est un projet en cours de développement au CIRANO et les essais menés sur la première version avaient mis en évidence la nécessité d'améliorer celle-ci. Ce mémoire a pour objectif d'améliorer la qualité de l'expérience de l'utilisateur avec ce système. Pour atteindre cet objectif, nous avons dans un premier temps évalué l'interface du système actuel. Cette évaluation a révélé que les attributs hédoniques de l'interface étaient limités. Nous avons aussi fait une évaluation heuristique des attributs pragmatiques de l'interface et plus particulièrement de l'utilisabilité, en ayant recours aux critères de Bastien & Scapin (1993). Cette évaluation a permis d'identifier 87 problèmes ergonomiques. De nombreux problèmes étaient récurrents dans les différentes expériences pédagogiques et ont été détaillés. Nous avons ensuite procédé à la conception d'une nouvelle interface utilisateur visant à résoudre ces différents problèmes et à améliorer les attributs hédoniques de l'interface. Pour cela, nous avons effectué une conception à deux niveaux : au niveau supérieur, une structure globale commune à l'ensemble de l'outil a été conçue et développée afin de s'attaquer à la récurrence des problèmes décelés. Puis, à un niveau inférieur, chaque expérience a été spécifiquement conçue à nouveau, tout en respectant les contraintes établies par le CIRANO relatives au contenu économique à couvrir (celui-ci devait rester intact) et à l'implémentation rapide de la nouvelle interface. Nous avons choisi de présenter en détail la conception de l'une de ces expériences qui se nomme « Ressource commune ». Pour évaluer et comparer l'EU vécue avec l'ancienne et la nouvelle interface de l'outil, nous avons utilisé l'outil «AttrakDiff » d'Hassenzahl en version réduite (2010). Cet outil est composé de 10 paires de mots opposés (échelle d'Osgood). L'échelle comporte sept points entre chaque mot et son opposé, permettant à l'utilisateur de choisir, dans chaque paire, le mot qui décrit le mieux le produit. Cet outil était intégré à un bref questionnaire que nous avons élaboré pour obtenir une mesure simple de l'apprentissage réalisé en économie ainsi qu'une mesure de l'appréciation du contenu économique de l'expérience pédagogique. Des questions ont été également ajoutées au sujet d'autres buts de l'entreprise tels que la satisfaction de l'utilisateur, l'envie de recommander le système, etc. Vingt participants ont pris part à notre recherche. Ils ont été répartis en deux groupes. Le premier groupe essayait l'ancienne version, l'évaluait à l'aide du questionnaire, puis essayait la nouvelle version et l'évaluait à l'aide du même questionnaire. Le deuxième groupe effectuait un processus similaire, mais commençait d'abord par la nouvelle version pour contrebalancer les effets d'apprentissage. Les résultats montrent que la nouvelle version est mieux évaluée que l'ancienne version. Les qualités pragmatiques et hédoniques de la nouvelle version obtiennent des améliorations respectives de 17 % et de 33 %. L'évaluation de l'attractivité globale du système révèle que celle-ci s'améliore de 45 %. Ces résultats montrent une amélioration de l'EU vécue avec le système. Lorsque les participants évaluent la nouvelle version de l'outil après avoir testé l'ancienne, leur évaluation de la nouvelle version est plus homogène que lorsqu'ils n'ont testé que la nouvelle version seulement. La qualité hédonique est encore mieux notée, par contre la qualité pragmatique semble légèrement moins bien notée, peut-être parce que le participant s'habitue à l'utilisabilité de l'ancienne version. Lorsque les participants évaluent l'ancienne version après avoir testé la nouvelle, leurs évaluations de l'ancienne version sont plus sévères, ce qui peut être expliqué par l'aversion à la perte. Le niveau d'éducation élevé des participants à notre recherche ne nous a pas permis d'évaluer l'apprentissage réalisé en économie, ainsi que l'impact de l'appréciation du contenu économique traité par le système sur l'appréciation de l'interface ; tous les participants ont déclaré apprécier le domaine de l'économie. La nouvelle version de l'interface du système affecte positivement les autres buts visés par le CIRANO avec ce système en améliorant la satisfaction de l'utilisateur de 13 %, l'envie de réutiliser et de recommander le système de 15 % et 18 %, l'envie que des expériences pédagogiques similaires soient développées de 20 %, et l'image du CIRANO que le système véhicule de 23 %. Seule la profitabilité, qui reflète le caractère avantageux de l'expérience pédagogique, ne semble pas s'être améliorée avec la nouvelle version, car elle serait vraisemblablement plus liée au contenu des expériences pédagogiques.

Abstract

The economic learning support system discussed in this report offers numerous educational experiments to the learners. It is a project under development at the CIRANO. Tests conducted on the first version had highlighted the need to improve the user experience with the system. The goal of this study is to enhance the quality of the user experience with this system. To reach this goal, we assessed the interface of the current system. This revealed that the hedonic attributes of the interface were limited. We also conducted a heuristic evaluation of the pragmatic attributes of the interface, and more particularly the usability, with the ergonomic criteria of Bastien & Scapin (1993). This evaluation helped to identify 87 ergonomic problems. Numerous problems were recurring in the various educational experiments and were detailed. We then proceeded with the design of a new user interface to solve these problems and to improve the hedonic attributes of the interface. For that purpose, we focused on two levels: at the upper level, a global structure used by the whole system was designed and developed to deal with the recurrence of the revealed problems. Then, at a lower level, every experiment was specifically redesigned, while respecting the constraints established by the CIRANO, relative to the economic contents (which had to remain intact) and to the fast implementation of the new Interface. We chose to present in detail the design of one of these experiments, which is called " Common Resource ". To estimate and compare the user experience with the old and the new interface of the system, we used the reduced version of the tool " AttrakDiff " (Hassenzahl, 2010). This tool includes 10 pairs of opposite words (Osgood's scale). The scale contains seven points between every word and its opposite, enabling the user to choose, in every pair, the word that best describes the product. This tool was integrated into a short questionnaire we developed to obtain a simple measure of the learning realized as well as a measure of appreciation of the economic contents of the educational experiment. Questions were also added about other goals of the company, such as the user satisfaction, the desire to recommend the system, etc. Twenty participants took part in our research. They were divided into two groups. The first group tried the old version, estimated it with the questionnaire, then tried the new version and estimated it with the same questionnaire. The second group followed a similar process, but began with the new version to counterbalance the learning effects. Results show that the new version is better estimated than the old version. The pragmatic and hedonic qualities of the new version get respective improvements of 17% and 33%. The evaluation of the global attractiveness of the system reveals a 45% improvement with the new version. These results show an improvement of user experience with the system. The evaluation of the new version is more homogeneous when participants already tested the old version, than when they only tested the new version; the hedonic quality gets an even better score, but the pragmatic quality gets a slightly worse one, maybe because the participant becomes familiar with the usability of the old version. When participants estimate the old version, having already tested the new one, their evaluations of the old version are more severe, which can be explained by the loss aversion. The high educational level of the participants in this research did not allow us to estimate correctly the learning realized in economy, as well as the impact of the appreciation of the economic contents of the experiment on the appreciation of the interface. However, the new version of the system interface positively affects the other goals of the CIRANO with this system, by improving the satisfaction of the user by 13 %, the desire to reuse and to recommend the system by 15 % and 18 %, the desire that similar educational experiments be developed by 20 %, and the image of the CIRANO the system conveys by 23 %. Only the profitability, which reflects the advantageous character of the educational experiment, does not appear to have improved with the new version, because it would be more connected to the contents of the educational experiments.