Modèles de langage au service de la recommandation basée sur des sessions

La recommandation basée sur les sessions (SBR) utilise le comportement passé de l’utilisateur au sein d’une session unique pour établir la prédiction de ses actions futures et effectuer des recommandations. Une session représente une série d’interactions consécutives d’un utilisateur avec des articles (ou items) dans un contexte donné. Par exemple, sur un site de commerce électronique, une session peut commencer lorsque l’utilisateur se connecte et se termine lorsqu’il quitte le site, les données de cette session comprennent les articles qu’il a consultés dans un ordre précis. Comprendre et modéliser ces sessions est essentiel pour améliorer la pertinence des recommandations et offrir une expérience utilisateur personnalisée et engageante. Diverses méthodes existent, toutes centrées sur la modélisation de sessions d’actions et la prédiction d’actions futures. Depuis 2019, les systèmes SBR basés sur les Graph neural networks (GNN) ont été largement explorés et se sont imposés comme l’approche de prédilection pour la SBR, notamment dans les tâches de prédiction du prochain article. Dans cette étude, nous proposons une méthode basée sur des modèles de langage Transformer pour réaliser la prédiction du prochain article dans la SBR. En nous concentrant sur les architectures des modèles de langage les plus populaires et les plus performants, nous utilisons ces modèles Transformer pour la tâche de prédiction du prochain article (qui s’apparente à la tâche de prédiction du prochain mot dans le traitement du langage naturel (NLP)) et les comparons aux modèles basés sur les GNN. Nous discutons des avantages uniques que chaque modèle offre aux systèmes SBR. Afin d’utiliser des architectures de modèles de langage basés sur les Transformers, on introduit dans cette étude une nouvelle technique de masquage adaptée aux systèmes de recommandation SBR. Nous appelons cette technique sequential masked modeling (SMM). Dans un premier temps, nous évaluons l’efficacité de notre nouvelle approche de masquage pour les Transformers dans le domaine de la SBR en la comparant aux techniques de masquage précédemment utilisées dans le NLP comme masked language modeling (MLM) et causal language modeling (CLM). Les résultats démontrent que notre nouvelle technique de masquage améliore grandement le score de prédiction ainsi que la vitesse d’entrainement des Transformers dans le domaine de la SBR. De plus, nos recherches consistent à montrer que si les modèles Transformer sont améliorés et optimisés, comme l’ont été les GNN ces dernières années, ils peuvent alors rivaliser avec ces derniers pour des tâches de SBR. Nous intégrons donc des techniques récentes de modèles de langage larges (LLM) à nos architectures de modèles Transformer, notamment celles de Llama 3, et démontrons des gains significatifs.

Abstract

SBR leverages a user’s past behavior within a single session to predict their future actions and provide recommendations. A session represents a series of consecutive interactions between a user and items in a given context. For instance, on an e-commerce website, a session might begin when a user logs in and ends when they leave the site, with session data including the specific sequence of items viewed. Understanding and modeling these sessions is crucial for enhancing recommendation relevance and delivering a personalized and engaging user experience. Various methods exist, all focused on modeling session actions and predicting future actions. Since 2019, GNN-based SBR systems have been extensively explored and have become the preferred approach for SBR, particularly in next-item prediction tasks. In this study, we propose a method based on Transformer language models to perform next-item prediction in SBR. By focusing on the most popular and effective language model architectures, we use these Transformer models for next-item prediction (similar to next-word prediction in NLP) and compare them to GNN-based models. We discuss the unique advantages each model offers to SBR systems. To utilize Transformer-based language model architectures, we introduce a new masking technique tailored to SBR recommendation systems in this study, which we call SMM. First, we evaluate the effectiveness of our new masking approach for Transformers in the SBR domain by comparing it to previously used masking techniques in NLP, such as MLM and CLM. The results show that our new masking technique significantly improves prediction scores as well as the training speed of Transformers in the SBR domain. Additionally, our research aims to demonstrate that if Transformer models are enhanced and optimized, as GNNs have been in recent years, they can then compete with GNNs for SBR tasks. We thus incorporate recent LLM techniques into our Transformer model architectures, including those from Llama 3, and demonstrate significant gains. This work confirms the potential of Transformer models in the SBR domain. With the implementation of three popular Transformer architectures (BERT, GPT, and De- BERTa) optimized with our new masking approach as well as other optimization techniques from recent LLMs, the results show that these three architectures outperform a basic GNN on the three datasets used for evaluation. Moreover, the results show that our masking approach is effective only on encoder-type architectures, which are BERT and DeBERTa. The BERT architecture proves to be slightly superior to DeBERTa.