<  Back to the Polytechnique Montréal portal

Vers un prototype d'outil d'évaluation subjective de l'expérience utilisateur avec des produits interactifs

Véronique Montreuil

Masters thesis (2014)

[img]
Preview
Download (4MB)
Cite this document: Montreuil, V. (2014). Vers un prototype d'outil d'évaluation subjective de l'expérience utilisateur avec des produits interactifs (Masters thesis, École Polytechnique de Montréal). Retrieved from https://publications.polymtl.ca/1381/
Show abstract Hide abstract

Abstract

RÉSUMÉ : Le domaine de l'interaction humain-machine continue d'évoluer, et au-delà de l'utilisabilité on s’intéresse désormais à l'expérience utilisateur (EU) avec les systèmes, produits ou services. Celle-ci est plus riche et holistique que l'utilisabilité car elle tient compte des émotions, de l’esthétique et du plaisir des utilisateurs au cours de leurs interactions avec différents produits ou services. L'EU est subjective, multidimensionnelle, dynamique, temporelle et contextuelle. Le défi à l'heure actuelle est de savoir comment créer une EU positive et optimale avec des artéfacts. Pour relever ce défi, on doit pouvoir évaluer l'EU, d’où notre recherche. Celle-ci a pour objectifs de concevoir un premier prototype d’outil d'évaluation subjective de l'EU avec des produits qui puisse évaluer l'EU dans sa totalité et de le tester auprès d’un groupe de répondants. Nous avons fait une revue de littérature sur l'EU et les dimensions qui la composent. Cette revue nous a permis d'identifier sept dimensions de l’EU comprenant 21 indicateurs qui peuvent être regroupés sous deux pôles : Produit et Utilisateur. Le pôle Produit comprend les dimensions Caractéristiques de base, Possibilités d'utilisation, Caractéristiques secondaires et le pôle Utilisateur comprend les dimensions Psychologique positif, Psychologique négatif, Attrait et Sensoriel. Par la suite, nous avons classifié et évalué un grand nombre d'outils d'évaluation de l'EU. De tous les outils existants recensés, aucun ne semble permettre l'évaluation de l'EU dans sa totalité, c.-à-d. selon les 21 indicateurs. Le modèle d'évaluation de l’EU que nous avons suivi est calqué sur le modèle d’évaluation du NASA-TLX, un outil d'évaluation subjective de la charge mentale de travail très connu et très utilisé. La raison pour laquelle nous avons pris ce modèle est que les concepts d'EU et de charge mentale ont plusieurs points communs : tous deux sont multidimensionnels, subjectifs, holistiques et situés dans un contexte. Nous avons suivi l'approche de développement d'échelles SAFE (Scale Adoption Framework for Evaluation). Le prototype d’outil d’évaluation que nous avons construit prend la forme d’un questionnaire en cinq parties qui portent sur les activités suivantes : définir le profil du répondant, décrire une EU avec un produit spécifique, attribuer une cote entre 1 et 10 à chacun des 21 indicateurs de l'EU, attribuer un poids à chacun des 21 indicateurs (échelle de 1 à 10), et évaluer l'outil. Le questionnaire a été mis en ligne par le biais de la plateforme de sondage QuestionPro.com marque de commerce de QuestionPro Online Survey Software qui nous a permis de rejoindre facilement les répondants et qui leur laissait une grande flexibilité pour remplir le questionnaire. Nous avons testé le questionnaire avec 35 répondants à qui il était demandé de décrire leur EU avec un produit interactif spécifique parmi cinq produits (les sites Amazon.ca, Facebook.com, l'application LaPresse+, le site de La Presse et la borne d'enregistrement de compagnie aérienne), d’évaluer cette EU selon les indicateurs qu'ils considéraient applicables à leur EU parmi les 21 faisant partie du questionnaire, de pondérer chaque indicateur, et d’évaluer l’EU globale sur une échelle unidimensionnelle. Après le nettoyage des données, il restait 30 évaluations d'EU utilisables : deux EU négatives (une négative, une plutôt négative), une EU neutre, 27 EU positives (neuf plutôt positives, 11 positives et sept très positives). Le traitement des données nous a permis de produire des cotes pondérées (multiplication de la cote d'un indicateur par le poids qui lui a été attribué) pour les indicateurs évalués, une cote globale pondérée (la somme de toutes les cotes pondérées) et une cote moyenne pondérée (division de la cote globale pondérée par le nombre d'indicateurs cotés puis divisé par 10) pour chaque répondant. L'analyse des résultats a montré qu'il n'y a pas nécessairement de lien entre la qualité de l'EU globale telle qu’établie par les répondants lors de leur description de l'EU au début du questionnaire, et la cote moyenne (pondérée ou non) qui ressort de l'évaluation des indicateurs. Il sera nécessaire de mener davantage d'études afin de comprendre pourquoi il y a une absence de lien entre la qualité de l'EU globale fournie par le participant et la cote moyenne pondérée. Nous voyons plusieurs améliorations à apporter au prototype : modifier l'attribution d'un poids individuel à chaque indicateur par l'ordonnancement exclusif des 21 indicateurs du plus important au moins important, revoir les descriptions de certains indicateurs qui pourraient avoir généré de la confusion, modifier les mécanismes interactifs de réponses pour améliorer l'utilisabilité et l'EU avec notre outil, et procéder à des tests d'utilisabilité. Dans sa forme actuelle le prototype d'outil permet d'identifier quels indicateurs de l’EU vont bien et quels indicateurs posent problème, mais sans plus de détail. Avec les améliorations que nous proposons, nous pourrons en savoir davantage. Une étude subséquente avec un plus grand nombre de participants par produit interactif sera nécessaire pour tester ces améliorations et les questions soulevées par nos résultats.----------ABSTRACT : The Human-Machine Interaction field is in constant evolution, beyond usability, user experience (UX) with systems, products or services is now at the forefront. UX is richer and more holistic than usability because it considers emotions, aesthetics and pleasure users have during their interaction with different products or services. UX is multidimensional, dynamic, temporal, contextual and subjective. Today the challenge resides in knowing how to design for an optimal and positive UX with artefacts. To rise to the challenge, we need to be able to evaluate UX, which is consequently the basis of our research. Our objectives are to create a first prototype of a subjective evaluation tool of UX with products, capable to evaluate UX in its entirety, and to test it with a group of participants. We started with an extensive literature review on UX and its dimensions. Our review allowed us to identify seven dimensions comprised of a total of 21 indicators, regrouped under two poles: Product and User. The Product pole includes the dimensions: Basic Characteristics, Usage Possibilities and Secondary Features; and User pole includes: Positive Psychological, Negative Psychological, Attractiveness and Sensory. After this literature review, we classified and evaluated a large number of existing tools for the evaluation of UX on various levels. Of all the tools we assessed, none covered the evaluation of UX in its entirety, encompassing its 21 indicators. The evaluation model we used for evaluating UX is founded on the NASA-TLX evaluation model, a well-known and proven tool used for the evaluation of mental workload. We chose this model because the concepts of UX and mental workload share many similarities: both are multidimensional, subjective, holistic and situated in a context. We followed the SAFE scale development approach (Scale Adoption Framework for Evaluation). The prototype we created takes form as a questionnaire divided in five steps that cover the following activities: participant profile definition, UX global description, evaluation of the 21 indicators on a scale of 1 to 10, weighing of the 21 indicators, also on a scale of 1 to 10, and evaluation of the tool itself. The questionnaire was deployed on a survey Web platform, QuestionPro.com, a trademark of QuestionPro Online Survey Software, which allowed us to easily reach participants and provided them with flexibility to fill the questionnaire at their leisure. Our study allowed us to collect the UX evaluations of interactive products from 35 people who described their UX with one of five products (Amazon.ca, Facebook.com, LaPresse+ iPad application, LaPresse.ca and airline check-in kiosk at the airport), evaluated the indicators they considered applicable to their UX from the 21 indicators presented, weigh-in each indicator and evaluate their global UX on a one-dimensional scale. After the clean-up of the data, 30 evaluations remained: two negative UX (one negative and one somewhat negative) one neutral UX and 27 positive UX (nine somewhat positive, 11 positive and seven very positive). The treatment of the data allowed us to produce weighted scores (the multiplication of the score for an indicator by the attributed weight) for each indicator as well as a global weighted score (the sum of each weighted score) and a weighted average score (the division of the global weighted score by the number of rated indicators, then divided by 10) for the UX of each participant. The analysis of the results showed there seems to be no direct link between the overall quality of UX defined by the participants provided during their overall description of their UX and the average score (weighted or not) produced from their evaluation of the indicators. It would be necessary to carry out further studies to understand the absence of direct link between the overall quality of UX and the average weighted score. Our study allowed us to identify many improvements for the tool: modify the way we gather the weights for individual indicators to move to an exclusive sorting of the 21 indicators, from the most important to the least, review indicator descriptions which may have been confusing, modify the interactive response mechanisms to improve usability and UX, proceed with usability tests. The format of the current prototype allows us to identify which indicators can be considered as going well and which are problematic, but without additional information. With our proposed improvements, we should be able to know more. A subsequent study with a larger group of participants per evaluated product will be necessary to test these improvements and the questions raised by our results.

Open Access document in PolyPublie
Department: Département de mathématiques et de génie industriel
Dissertation/thesis director: Jean-Marc Robert
Date Deposited: 23 Jul 2014 16:18
Last Modified: 24 Oct 2018 16:11
PolyPublie URL: https://publications.polymtl.ca/1381/

Statistics

Total downloads

Downloads per month in the last year

Origin of downloads

Repository Staff Only