Standardisation et reproductibilité dans l'évaluation des agents web basés sur les grands modèles de langage

Les agents web basés sur les grands modèles de langage (Large Language Models, LLM) émergent comme une technologie prometteuse permettant d’automatiser des interactions complexes avec les interfaces web. Malgré leur potentiel élevé, l’évaluation rigoureuse de ces agents reste difficile en raison d’une fragmentation significative des benchmarks existants, de l’instabilité des environnements web, et de l’absence de standards méthodologiques clairement établis. Ce mémoire introduit AgentLab, un cadre expérimental modulaire et extensible développé afin de répondre à ces défis méthodologiques. Intégré à l’écosystème BrowserGym, Agent- Lab propose des mécanismes avancés de gestion des expérimentations, incluant l’exécution parallèle d’expériences, la gestion automatique des erreurs et des dépendances entre tâches, ainsi qu’un suivi détaillé des versions logicielles utilisées pour assurer la reproductibilité. Il offre également des outils interactifs pour l’analyse détaillée des traces, permettant une compréhension approfondie du comportement et des décisions des agents. L’évaluation expérimentale approfondie, menée sur plusieurs benchmarks représentatifs tels que MiniWoB++, WebArena et WorkArena++, démontre la capacité d’AgentLab à faciliter la comparaison rigoureuse des modèles. Les résultats obtenus soulignent à la fois les performances prometteuses des meilleurs modèles actuels tels que Claude 3.5 Sonnet, mais aussi leurs limites persistantes face à certaines tâches complexes. Enfin, ce travail propose des perspectives d’amélioration future incluant l’automatisation avancée de l’analyse d’erreurs, la gestion optimisée des ressources computationnelles et l’élargissement de l’écosystème à d’autres domaines d’application. AgentLab constitue ainsi une étape concrète vers la standardisation et la reproductibilité dans l’évaluation des agents web, facilitant une recherche plus transparente, collaborative et orientée vers l’impact.