Design, Development, and Validation of Social Scales for the UX Evaluation of Interactive Products

L'expérience utilisateur (dont l’abréviation anglaise est UX) englobe tous les aspects de l'interaction entre un utilisateur et un produit, service ou système (seul le terme produit sera utilisé ci-dessous). Cela va du moment où une personne découvre un nouveau produit pour la première fois jusqu'à son utilisation et inclut ses réflexions sur ses interactions avec le produit. Au fil des années, l'UX est devenue incontournable pour le succès des produits commerciaux dans un marché concurrentiel. Pouvoir évaluer l'UX globale d'un utilisateur avec un produit ainsi que des dimensions spécifiques –de celle-ci est essentiel pour améliorer la conception du produit. Dans cette thèse composée de trois articles, nous avons fait le point sur l'état de l'art des outils d'évaluation subjective de l’UX et nous nous sommes concentrés sur la dimension sociale de l'UX qui est négligée dans les outils actuels. Nous avons mis en évidence l’importance de cette dimension pour différentes catégories de produits et développé quatre échelles pour l'évaluer. Dans le premier article, nous avons effectué une revue systématique de la littérature (RSL) et examiné 325 études UX publiées au cours des 11 dernières années. Nos principaux résultats ont montré que 104 outils différents sont disponibles pour l'évaluation subjective UX, qu'ils peuvent être classés comme généraux ou spécifiques à un domaine, qu'ils sont applicables à une grande variété de produits et qu’ils couvrent plus de 300 dimensions UX. Notre catégorisation des dimensions UX en 13 dimensions principales a montré que les dimensions informationnelle, sociale, physique et cognitive étaient moins fréquemment présentes dans les outils actuels. Nous avons également constaté que les outils modulaires sont plus appréciés que les outils généraux d'évaluation UX. Parce qu'ils sont plus complets, flexibles, faciles à utiliser, peu coûteux, rapides et extensibles. Par conséquent, après avoir identifié les dimensions UX manquantes et la meilleure approche d'évaluation, nous avons décidé de développer un module formé d'échelles sociales d’évaluation. Bien que les outils modulaires facilitent l'évaluation, comment choisir les dimensions UX à évaluer nécessitait une enquête plus approfondie. Dans le deuxième article, nous avons étudié quelles dimensions UX sont plus importantes pour l'évaluation de différentes catégories de produits logiciels. Afin de savoir si le type d'utilisateurs évaluant l’UX et la culture ont un impact sur la perception de l'importance d'une dimension UX, nous avons demandé à 200 utilisateurs finaux et huit experts UX du Canada d'évaluer 21 dimensions UX, incluant la dimension sociale, pour 15 catégories de produits. L’étude a montré que les résultats des évaluations de l'importance des dimensions UX par les utilisateurs finaux étaient similaires à ceux des experts dans 77 % des cas, alors qu'au sein du groupe des utilisateurs finaux, leurs résultats étaient similaires dans 97 % des cas. Nous avons également comparé nos résultats à ceux d'autres pays et confirmé que la perception de l'importance des dimensions UX était déterminée par la catégorie de produits, et non par la culture des répondants. Trouver la relation entre l'identité, la sociabilité et l'acceptation sociale, et déterminer leur importance pour certaines catégories de produits ont été à la base du troisième article, qui portait sur le développement des échelles sociales. Nous avons analysé la dimension sociale qui était présente ou absente dans les outils d'évaluation subjective UX disponibles et ce faisant, les sous-dimensions qui en faisaient partie. Nous avons discuté les résultats de cette analyse avec sept experts UX et avons ainsi dressé une liste de 27 items pour l'évaluation de la dimension sociale. Au moyen d’un questionnaire, 229 participants ont évalué leur UX avec des produits ayant des aspects sociaux; nous avons identifié quatre échelles sociales avec un total de 16 items à la suite d'une analyse factorielle exploratoire, à savoir l'identification, l'interaction sociale, la stimulation sociale et l'acceptation sociale. Ensuite, nous avons réalisé une étude de validation avec 450 participants, évaluant l'UX relative à trois différentes catégories de produits allant de très social à légèrement social. Les échelles étaient fiables avec un score alpha de Cronbach compris entre 0,792 et 0,846. De plus, des comparaisons avec l’outil d’évaluation UX AttrakDiff et six dimensions UX de l'UEQ+ ont révélé qu’il y avait des corrélations positives entre les nouvelles échelles sociales et la dimension d'identification d'AttrakDiff (0,24 - 0,69), et la dimension d'attractivité d'AttrakDiff (0,18 - 0,66) et UEQ+ (0,21 - 0,67) (p<0,05). Nous estimons que la principale contribution de cette thèse a été le développement et la validation de quatre échelles sociales qui peuvent être utilisées en combinaison avec d'autres échelles de l’outil modulaire UEQ+ pour évaluer la dimension sociale de l'UX avec différents produits.

Abstract

User eXperience (UX) encompasses all aspects of the interaction between a user and a product, service, or system (only the term product will be used below). From the moment a person first learns of a new product, to using it, and later reflecting on the interactions with the product, all these events contribute to UX. Over the years, UX has grown to become unavoidable for the success of commercial products in a competitive market. Being able to evaluate the overall UX of a user with a product as well as its specific dimensions are keys to improve the design of a product. In this thesis composed of three articles, we reviewed the state of the art in UX subjective evaluation tools and focused on the social dimension of UX, which is overlooked in the current tools. We highlighted its importance for different product categories and developed four scales to evaluate it. In the first article, we did a Systematic Literature Review (SLR) and investigated 325 UX studies published during the last 11 years. Our main results showed that 104 different tools are available for UX subjective evaluation, that they can be classified as general or domain-specific, that they are applicable for a wide variety of products and cover more than 300 UX dimensions. Our categorization of UX dimensions under 13 main dimensions showed that the informational, social, physical, and cognitive dimensions appeared to be less frequently present in current tools. We also found that modular tools have become appreciated among general UX evaluation tools. It is because they are more comprehensive, flexible, easy to use, low-cost, rapid, and extendable. Therefore, after identifying the lacking UX dimensions and the best evaluation approach, we decided to put our focus on developing modular social scales. Although modular tools facilitate the evaluation, the question of which UX dimensions should be evaluated needed more investigation. In the second article, we studied which UX dimensions are important for the evaluation of different software product categories. In order to find whether the perception of the importance of a UX dimension is influenced by the type of user or culture, we asked 200 end users and eight UX experts from Canada to evaluate 21 UX dimensions, including the social dimension, for 15 product categories. Our results showed that the importance ratings of UX dimensions between end users and experts were similar in 77% of cases, whereas within end-users’ their ratings were similar in 97% of cases. We also compared our results to those of other countries and confirmed that the importance of UX dimensions is determined by the product category, not the culture of the respondents. Finding the relationship between identity, sociability, and social acceptance, and their importance for some product categories were the foundation for the final article, which was the development of the social scales. In this article, we analyzed the available UX subjective evaluation tools regarding the social sub-dimensions they incorporated. We discussed our findings with seven UX experts and came up with a list of 27 items for the evaluation of the social dimension. Through a questionnaire, 229 participants rated their UX with products having social aspects, and we identified four social scales with a total of 16 items as the result of exploratory factor analysis, i.e., identification, social interaction, social stimulation, and social acceptance. Next, we did a validation study with 450 participants, evaluating the UX of three different product categories ranging from highly social to slightly social. The scales were reliable with Cronbach’s alpha scoring between 0.792 and 0.846. Moreover, comparisons with AttrakDiff, and six UX dimensions of UEQ+ reported the positive correlations between the new social scales and identification dimension of AttrakDiff (0.24 - 0.69) as well as with the attractiveness dimensions of AttrakDiff (0.18 - 0.66) and UEQ+ (0.21 - 0.67) (p<.05). In conclusion, we estimate that the main results of this thesis are four validated social scales that can be used in combination with other scales of the UEQ+ modular framework to evaluate the social dimension of UX with different products.