Mémoire de maîtrise (2024)
Résumé
L’accès à l’information est un besoin humain fondamental. Dans le monde actuel axé sur les données, la croissance exponentielle de l’information a créé une demande critique pour des systèmes capables de récupérer efficacement des données pertinentes. Les systèmes de recherche d’information (Information Retrieval, IR) et les systèmes de recommandation ont émergé comme des solutions clés, permettant aux utilisateurs d’accéder à du contenu pertinent et de recevoir des recommandations personnalisées. Cette thèse vise à améliorer ces systèmes en abordant deux défis majeurs : améliorer l’explicabilité des systèmes de recommandation et optimiser le re-rank dans les systèmes IR à l’aide de modèles de langage avancés (Large Language Models, LLMs). La première partie de cette thèse met l’accent sur l’importance de l’explicabilité dans les systèmes de recommandation pour renforcer la confiance des utilisateurs, leur satisfaction et leur prise de décision. Elle présente un système de recommandation explicable innovant développé pour un partenaire aérien, qui génère non seulement des recommandations personnalisées de destinations, mais fournit également des explications claires basées sur des caractéristiques pour chaque suggestion. En mettant en avant la transparence et l’explicabilité, ce système permet aux utilisateurs de comprendre les raisons derrière ses recommandations, comblant ainsi le fossé entre des algorithmes complexes et la compréhension des utilisateurs. La deuxième partie de cette thèse explore les problèmes de classement dans les systèmes IR, où l’efficacité des résultats classés affecte directement la satisfaction des utilisateurs et les performances du système. Les LLMs ont suscité un grand intérêt en raison de leurs puissantes capacités de compréhension et de génération de texte. Des études récentes ont exploité les LLMs pour le re-classement de passages en mode zéro-shot dans les systèmes IR, utilisant diverses approches, notamment les méthodes pointwise et listwise. Dans l’approche pointwise, le LLM génère un score de pertinence pour chaque passage par rapport à la requête, indépendamment des autres passages. En revanche, dans l’approche listwise, le LLM génère une liste classée des étiquettes de documents en fonction de leur pertinence par rapport à la requête. Cette thèse propose une étape préliminaire de filtrage basée sur un LLM en mode pointwise pour identifier les passages pertinents et non pertinents avant le processus de re-classement, dans le but d’améliorer les performances des re-rankers listwise dans les systèmes IR. Cette approche repose sur une technique avancée de conception de prompts appelée Plan-and-Solve. De plus, cette thèse conduit une étude empirique pour examiner le rôle de la cohérence interne (self-consistency) et de l’élicitation de confiance dans l’amélioration des performances des rerankers pointwise basés sur les LLMs, en affinant la pertinence et la précision des résultats classés. Nous constatons qu’en utilisant un petit nombre de scores de pertinence générés par des humains, associés aux scores de pertinence générés par les LLMs, il est possible d’éliminer efficacement les passages non pertinents avant le re-classement. Nos expériences montrent également que ce filtrage préliminaire basé sur un LLM en mode pointwise permet au LLM d’améliorer ses performances dans les tâches de re-classement en mode zéro-shot. En outre, nos résultats révèlent que l’élicitation de confiance peut améliorer les performances des rerankers pointwise basés sur les LLMs en mode zéro-shot. Notamment, la fréquence brute des réponses d’un LLM dans le re-classement pointwise est moins utile que les scores de confiance obtenus à partir de ces réponses.
Statistiques
Total des téléchargements à partir de PolyPublie
Téléchargements par année
Provenance des téléchargements
