Understanding User Perception of Mobile App Quality: A Large-Scale Multi-Dimension Study of the Reviews and Ratings of Android Sports Apps

L’importance de la perception de la qualité des applications par les utilisateurs est multiple et englobe plusieurs aspects critiques. Tout d’abord, il s’agit d’un retour d’information direct de la part des utilisateurs, qui reflète les performances de l’application par rapport à la description et aux promesses faites sur le magasin d’applications. Ce retour d’information est essentiel pour les développeurs, car il les aide à améliorer l’expérience de l’utilisateur. En outre, la perception de l’utilisateur joue un rôle essentiel dans la fidélisation des utilisateurs. Les clients satisfaits font preuve de loyauté à l’égard de l’application et sont enclins à la recommander à d’autres, ce qui permet d’élargir la base d’utilisateurs. En outre, une perception positive de l’utilisateur est en corrélation avec un meilleur classement dans les magasins d’applications, ce qui renforce la visibilité et la portée de l’application sur le marché numérique concurrentiel. Les recherches antérieures sur l’évaluation des applications mobiles à partir des critiques et des évaluations des applications ont généralement porté sur des applications de différentes catégories ou se sont concentrées sur un petit sous-ensemble d’applications d’une catégorie spécifique. Ces études proposent des conclusions générales pour l’ensemble d’un magasin d’applications comprenant des millions d’applications ou présentent des informations particulières pour un groupe limité d’applications. Néanmoins, une seule catégorie d’applications peut englober des dizaines, voire des centaines de milliers d’applications. Par exemple, App- Brain fait état de 46 625 applications dans la catégorie "Sports" des applications Google Play. D’autre part, une catégorie d’applications peut avoir des fonctionnalités très différentes (par exemple, les applications de paris sur le football et les applications d’entraînement au golf dans la catégorie "sports"). Il n’est pas clair comment les études de ces différents niveaux (c’est-à-dire le niveau du marché, le niveau catégoriel et le niveau fonctionnel) influencent les résultats de l’étude de la perception de la qualité des applications mobiles par les utilisateurs. C’est pourquoi cette thèse réalise une étude multi-niveaux à grande échelle des critiques et des évaluations des applications mobiles, en se concentrant sur les applications sportives Android. Cette thèse vise à comprendre comment les différents niveaux d’analyse des critiques et des évaluations des utilisateurs influencent les résultats de l’analyse. Pour atteindre cet objectif, la thèse est organisée autour de deux sous-objectifs. Dans notre premier objectif, nous examinons des catégories d’applications ciblées, telles que les sports, qui peuvent fournir des informations plus précises que l’évaluation des applications dans toutes les catégories, tout en bénéficiant à de nombreux développeurs d’applications intéressés par cette catégorie. Cette étude vise à examiner de nombreuses applications au sein d’une même catégorie (les sports). Notre travail apporte une double contribution : 1) la vi découverte d’informations spécifiques à des dizaines de milliers d’applications sportives et 2) l’apport de preuves empiriques sur les avantages de l’examen d’applications dans une catégorie particulière. Nous étudions empiriquement plus de deux mille applications sportives dans le Google Play Store, en examinant leurs caractéristiques (par exemple, les types de sports ciblés et les fonctionnalités principales) par le biais d’une analyse manuelle, les sujets des évaluations des utilisateurs par le biais de la modélisation des sujets, et les facteurs contribuant aux opinions négatives des utilisateurs par le biais de l’évaluation des utilisateurs et de l’analyse des sentiments. Nous avons identifié des applications sportives couvrant 16 types de sports (football, cricket, baseball, etc.) et 15 fonctionnalités principales (paris, conseils sur les paris, entraînement, suivi, etc.) En outre, nous avons extrait 14 thèmes des commentaires des utilisateurs, dont trois sont propres aux applications sportives (précision des prédictions, actualité et précision des outils). Nous avons conclu que les utilisateurs se plaignent principalement des publicités et de la qualité des applications sportives (par exemple, les bugs, la qualité du contenu, la qualité du streaming). L’analyse d’une catégorie spécifique d’applications (par exemple, les applications sportives) peut fournir des informations plus précises que l’examen d’applications de différentes catégories, tout en restant pertinente pour de nombreuses applications (par exemple, des dizaines de milliers). En outre, le marché des applications sportives, qui connaît une croissance rapide et une forte concurrence, offre de nombreuses possibilités de recherches futures, telles que l’étude de l’intégration de la science des données ou des techniques d’apprentissage automatique dans les applications logicielles ou l’examen des facteurs influençant la compétitivité des applications. Dans notre deuxième objectif, nous analysons l’environnement extrêmement concurrentiel du magasin d’applications mobiles, qui compte un nombre impressionnant de 2,67 millions d’applications accessibles aux utilisateurs. Pour améliorer leur classement et s’assurer un avantage concurrentiel, les développeurs doivent comprendre les règles du jeu entre leurs rivaux. Nous proposons un système à trois niveaux (marché, catégorie et fonction) plutôt qu’une analyse globale pour aider les développeurs à comprendre les facteurs qui influencent les évaluations. Le marché correspond aux applications globales et générales du Google Play Store, la catégorie fait référence à un type spécifique d’application disponible dans le magasin d’applications (par exemple, les sports) et le niveau de fonction concerne les différentes fonctionnalités de la catégorie d’application spécifiée (par exemple, les paris sur le football pour la catégorie des sports). Dans cette étude, nous évaluons plus de 12 000 applications en utilisant une stratification des données à trois niveaux et nous examinons comment les caractéristiques de Google Play peuvent expliquer les évaluations des applications à différents niveaux. Notre analyse révèle que le niveau fonctionnel explique mieux les modèles que les niveaux supérieurs. En outre, notre approche multiniveaux nous permet d’identifier les carvii actéristiques dominantes propres à la catégorie. Pour l’analyse du niveau fonctionnel afin de comprendre les scores d’importance des caractéristiques, nous incorporons une étude basée sur le classement relatif, aidant les développeurs à identifier les caractéristiques cruciales pour surpasser leurs concurrents dans un paysage concurrentiel féroce. Nous concluons que la recherche sur l’approche multiniveaux peut aider les développeurs à mieux comprendre les facteurs uniques ayant un impact sur les évaluations des applications, ce qui leur permet d’identifier des paramètres spécifiques pour améliorer les évaluations par rapport à leurs concurrents.

Abstract

The significance of user perception regarding app quality is multifaceted and encompasses several critical aspects. Foremost, it serves as direct feedback from users, reflecting the app’s performance in relation to the description and promises made on the app store. This feedback is instrumental for developers, as it guides them in enhancing the user experience. Additionally, user perception plays a pivotal role in user retention. Satisfied customers exhibit loyalty to the application and are inclined to recommend it to others, thereby expanding the user base. Moreover, positive user perception positively correlates with improved app store rankings, further improving the application’s visibility and reach within the competitive digital marketplace. Previous research on mobile app evaluations on app reviews and ratings typically examined apps across various categories or concentrated on a small subset of apps within a specific category. These studies either offer general findings for an entire app store comprising millions of apps or present particular insights for a limited group of apps. Nonetheless, a single app category can encompass tens or even hundreds of thousands of apps. For instance, AppBrain reports 46,625 apps in the “Sports” category of Google Play apps. On the other hand, a category of apps may have very different functionalities (e.g., football betting apps and golf training apps in the “sports” category). It is unclear how studies from these different dimensions (i.e., market dimension, categorical dimension, and functional dimension) impact the results of studying the user perception of the quality of mobile apps. Therefore, this thesis performs a large-scale multi-dimension study of the reviews and ratings of mobile apps, focusing on Android Sports apps. This thesis aims to understand how the different dimensions of analyses of user reviews and ratings impact the analysis results. To achieve this goal, the thesis is organized through two sub-objectives. In our first objective, we examine targeted app categories, such as sports, which can yield more precise insights than evaluating apps across categories while still benefiting numerous app developers interested in that category. This objective aims to investigate a large number of apps within a single category (i.e., sports). Our work contributes in two ways: 1) uncovering insights specific to tens of thousands of sports apps and 2) providing empirical evidence on the advantages of examining apps in a particular category. We empirically investigate over two thousand sports apps in the Google Play Store, examining their characteristics (e.g., target sports types and primary functionalities) through manual analysis, user review topics via topic modeling, and factors contributing to negative user opinions through user rating and sentiment analysis. We identified sports apps covering 16 sports types (e.g., Football, Cricket, Baseball) and 15 primary functionalities (e.g., Betting, Betting Tips, Training, ix Tracking). Furthermore, we extracted 14 topics from user reviews, three unique to sports apps (prediction accuracy, up-to-dateness, and tool precision). We concluded that users mainly complain about sports apps’ advertisements and quality (e.g., bugs, content quality, streaming quality). Analyzing a specific app category (e.g., sports apps) can provide more precise insights than examining apps across various categories while remaining relevant for many apps (e.g., tens of thousands). Moreover, the rapidly-growing and competitive sports app market offers ample opportunities for future research, such as investigating the incorporation of data science or machine learning techniques in software applications or examining factors influencing app competitiveness. In our second objective, we analyze the intensely competitive environment in the mobile app store, with an astounding 2.67 million apps accessible to users. To enhance their ratings and secure a competitive advantage, developers must comprehend the playing field among their rivals. We suggest a three-tier system (market, category, and function) rather than a global-dimension analysis to assist developers in understanding the factors affecting ratings. The market is the global and general apps in the Google Play Store, the category refers to a specific type of app available in the app store (e.g., sports), and the function dimension concerns the different functionalities of the specified app category (e.g., football betting in the sports category). In this study, we assess over 12,000 apps using the three-tier data stratification and explore how features from Google Play can explain app ratings at different dimensions. Our analysis reveals that the functional dimension modeling can better explain the app ratings than the category dimension. Similarly, category dimension explains better than market dimension. Additionally, our multidimension approach enables us to identify dominant features specific to the group of apps. In addition, for functional dimension analysis to identify feature importance scores among very closely rated applications, we incorporate relative ranking-based analysis, helping developers to identify crucial features to outperform competitors in a fiercely competitive landscape. We conclude that research on the multidimension approach can help developers better understand the unique factors impacting app ratings, allowing them to pinpoint specific metrics to improve ratings over their competitors.