Symmetric Probabilistic Matrix Factorization Techniques for Recommender Systems

La multitude d’options de quoi disponibles pour les consommateurs modernes peut être écrasante. Les détaillants électroniques et les sites Web de commerce électronique offrent une vaste gamme de produits pour répondre à un large éventail de besoins et de préférences. L’alignement des exigences des consommateurs avec les produits les plus appropriés est un aspect essentiel pour l’amélioration de la satisfaction des utilisateurs et de la fidélisation de la clientèle. En conséquence, un nombre croissant d’entreprises investissent dans des systèmes de recommandation afin d’identifier les modèles d’intérêt des consommateurs pour leurs produits et de proposer des recommandations qui correspondent aux besoins et aux préférences de ’utilisateur. Les systèmes de recommandation sont utilisés pour mettre en relation les consommateurs avec les produits qu’ils sont susceptibles d’aimer. Il existe deux principaux types de systèmes de recommandation : le filtrage basé sur le contenu et le filtrage collaboratif. Le filtrage basé sur le contenu utilise les préférences d’une personne pour suggérer de nouveaux produits. Le filtrage collaboratif, quant à lui, utilise des informations provenant d’autres personnes ayant des préférences similaires pour faire des recommandations. Il s’appuie sur les choix effectués par un groupe de personnes pour suggérer de nouveaux produits. Une classe d’algorithmes de filtrage collaboratif utilisée dans les systèmes de recommandation est la factorisation matricielle. Ces algorithmes décomposent la matrice d’interaction entre utilisateurs et articles en produit de deux matrices de dimension inférieure, qui sont plus petites en termes de dimensionnalité. Cette approche se approxime de la matrice d’origine en trouvant une combinaison de ces deux matrices aussi proche que possible de la matrice d’origine, basée sur la minimisation de l’erreur entre l’original et le produit des deux matrices plus petites, généralement en utilisant des techniques d’optimisation telles que les moindres carrés. Il s’agit d’un problème très mal posé car la factorisation peut être réalisée de nombreuses manières, conduisant à une infinité de solutions possibles sans une réponse correcte unique. Par conséquent, les chercheurs doivent formuler des hypothèses raisonnables (telles que des contraintes de régularisation ou des connaissances supplémentaires dans le domaine)concernant la factorisation afin de trouver la solution la mieux adaptée à leurs besoins. Dans cette recherche, nous présentons la factorisation matricielle probabiliste symétrique (SPMF) à travers la création d’une matrice de blocs symétrique à l’aide de la matrice d’interaction entre utilisateurs et articles. SPMF utilise une méthodologie probabiliste pour traiter les valeurs manquantes dans la matrice d’interaction et génère des recommandations en estimant la distribution de probabilité des préférences de l’utilisateur et des caractéristiques des articles en fonction des interactions observées. SPMF simplifie le problème de factorisation en transformant la fonction objectif en un problème convexe, garantissant un optimal global. Cette transformation conduit à une solution optimale avec un taux de convergence plus rapide, rendant le processus d’optimisation plus efficace. Dans cette nouvelle approche, les deux matrices originales de factorisation sont fusionnées en une seule matrice, ce qui rend la solution plus facile à trouver puisque le problème complexe d’optimisation à deux facteurs est réduit à une seule fonction de coût. Cette nouvelle méthode d’optimisation possède non seulement une solution optimale globale unique et est convexe, mais elle nous permet également de comprendre simultanément les relations entre les utilisateurs, les éléments et les interactions entre eux. Par ailleurs, nous étudions une variante de SPMF conçue pour factoriser des matrices binaires, qui a des applications pertinentes dans le domaine des systèmes de recommandation. Dans cette approche, les relations utilisateur-utilisateur et article-article sont conceptualisées sous forme de graphe, où la présence d’une arête signifie une relation étroite entre la paire. La matrice d’interaction entre utilisateurs et articles est transformée de telle sorte qu’un article est recommandé si l’entrée correspondante est 1, et non recommandé si l’entrée est 0. Nous appelons cette modification Factorisation matricielle binaire probabiliste symétrique (SPBMF). SPBMF est une méthode de factorisation robuste applicable à divers domaines, notamment le regroupement de graphes, l’analyse de l’expression génique, le traitement d’images, l’analyse des réseaux sociaux, les réseaux de capteurs et les systèmes de recommandation. Cette variante de SPMF démontre l’avantage significatif d’une approche probabiliste, qui est un thème central de cette thèse. Il offre la flexibilité nécessaire pour adapter le cadre à n’importe quel type de données en ajustant de manière appropriée une distribution de probabilité pertinente pour l’adapter à la source de données sous-jacente. De plus, nous avons étudié SPMF en le testant sur des sous-ensembles de l’ensemble de données MovieLens 100K et FilmTrust. Les résultats de cette étude contribuent au développement de systèmes de recommandation et seront précieux pour les chercheurs, les praticiens et les acteurs de l’industrie dans le domaine des systèmes de recommandation.

Abstract

The multitude of options of what available to modern consumers can be overwhelming. Electronic retailers and e-commerce websites offer a vast array of products to cater to a diverse range of needs and preferences. Aligning consumer requirements with the most suitable products is a critical aspect in enhancing user satisfaction and building customer loyalty. As a result, an increasing number of businesses are investing in recommendation systems to identify patterns of consumer interest in their products and offer recommendations that align with a user’s needs and preferences.Recommendation systems are used to match consumers with products they might like. There are two main types of recommendation systems: content-based filtering and collaborative filtering. Content-based filtering uses a person’s preferences to suggest new products. Collaborative filtering, on the other hand, uses information from other people with similar preferences to make recommendations. It looks at the choices made by a group of people to suggest new products. A class of collaborative filtering algorithms used in recommendation systems is matrix factorization. These algorithms decompose the user-item interaction (rating) matrix into the product of two lower-dimensional matrices, which are smaller in terms of their dimensionality. This approach approximates the original matrix by finding a combination of these two matrices that is as close as possible to the original matrix, based on minimizing the error between the original and the product of the two smaller matrices, typically using optimization techniques like least squares. This is a highly ill-posed problem because the factorization can be achieved in numerous ways, leading to infinitely many possible solutions without a unique correct answer. Therefore, researchers must make reasonable assumptions (such as regularization constraints or additional domain knowledge) about the factorization to find a solution that works best for their needs. In this research, we present Symmetric Probabilistic Matrix Factorization (SPMF) through the creation of a symmetric block matrix using the user-item rating matrix. SPMF utilizes a probabilistic methodology to address missing values in the interaction matrix and generates recommendations by estimating the probability distribution of user preferences and item features based on observed interactions.SPMF simplifies the factorization problem by transforming the objective function into a convex problem, ensuring a global optimum. This transformation leads to an optimal solution with a faster convergence rate, making the optimization process more efficient. In this new approach, the original two matrices of the factorization are merged into a single matrix, making the solution easier to find as the complex two-factor optimization problem is reduced to a single cost function. This new optimization method not only has a unique global optimal solution and is convex, but it also allows us to simultaneously understand the relationships between users, items, and the interactions between them. Furthermore, we investigate a variant of SPMF designed to factorize binary matrices, which has relevant applications in the recommendation system domain. In this approach, user-user and item-item relationships are conceptualized as a graph, where the presence of an edge signifies a close relationship between the pair. The user-item rating matrix is transformed such that an item is recommended if the corresponding entry is 1, and not recommended if the entry is 0. We refer to this modification as Symmetric Probabilistic Binary Matrix Factorization (SPBMF). SPBMF is a robust factorization method applicable to various fields, including graph clustering, gene expression analysis, image processing, social network analysis, sensor networks, and recommendation systems. This variant of SPMF demonstrates the significant advantage of a probabilistic approach, which is a central theme of this thesis. It provides the flexibility to adapt the framework to any data type by appropriately tuning a relevant probability distribution to fit the underlying data source. Additionally, we studied SPMF by testing it against subsets of the MovieLens 100K and FilmTrust dataset. The results of this study contribute to the development of recommendation systems and will be valuable for researchers, practitioners, and industry stakeholders in the field of recommendation systems.