Modèles de langage au service de la recommandation basée sur des sessions

La recommandation basée sur les sessions (SBR) utilise le comportement passé de l’utilisateur au sein d’une session unique pour établir la prédiction de ses actions futures et effectuer des recommandations. Une session représente une série d’interactions consécutives d’un utilisateur avec des articles (ou items) dans un contexte donné. Par exemple, sur un site de commerce électronique, une session peut commencer lorsque l’utilisateur se connecte et se termine lorsqu’il quitte le site, les données de cette session comprennent les articles qu’il a consultés dans un ordre précis. Comprendre et modéliser ces sessions est essentiel pour améliorer la pertinence des recommandations et offrir une expérience utilisateur personnalisée et engageante. Diverses méthodes existent, toutes centrées sur la modélisation de sessions d’actions et la prédiction d’actions futures. Depuis 2019, les systèmes SBR basés sur les Graph neural networks (GNN) ont été largement explorés et se sont imposés comme l’approche de prédilection pour la SBR, notamment dans les tâches de prédiction du prochain article. Dans cette étude, nous proposons une méthode basée sur des modèles de langage Transformer pour réaliser la prédiction du prochain article dans la SBR. En nous concentrant sur les architectures des modèles de langage les plus populaires et les plus performants, nous utilisons ces modèles Transformer pour la tâche de prédiction du prochain article (qui s’apparente à la tâche de prédiction du prochain mot dans le traitement du langage naturel (NLP)) et les comparons aux modèles basés sur les GNN. Nous discutons des avantages uniques que chaque modèle offre aux systèmes SBR. Afin d’utiliser des architectures de modèles de langage basés sur les Transformers, on introduit dans cette étude une nouvelle technique de masquage adaptée aux systèmes de recommandation SBR. Nous appelons cette technique sequential masked modeling (SMM). Dans un premier temps, nous évaluons l’efficacité de notre nouvelle approche de masquage pour les Transformers dans le domaine de la SBR en la comparant aux techniques de masquage précédemment utilisées dans le NLP comme masked language modeling (MLM) et causal language modeling (CLM). Les résultats démontrent que notre nouvelle technique de masquage améliore grandement le score de prédiction ainsi que la vitesse d’entrainement des Transformers dans le domaine de la SBR. De plus, nos recherches consistent à montrer que si les modèles Transformer sont améliorés et optimisés, comme l’ont été les GNN ces dernières années, ils peuvent alors rivaliser avec ces derniers pour des tâches de SBR. Nous intégrons donc des techniques récentes de modèles de langage larges (LLM) à nos architectures de modèles Transformer, notamment celles de Llama 3, et démontrons des gains significatifs.