Enhancing Text-to-SQL Systems Through LLM Routing and Effective Evaluation

L’exploration des données par requêtes constitue un goulot d’étranglement opérationnel dans la prise de décision en entreprise. Les utilisateurs métier disposent souvent du contexte de domaine nécessaire, mais maîtrisent mal le SQL et les schémas de bases de données, tandis que les équipes data centralisées, qui traduisent les demandes en requêtes, fonctionnent comme une ressource partagée et contrainte, ce qui introduit des délais. Les systèmes Text-to-SQL visent à réduire cette friction en traduisant des questions en langage naturel (NL) en SQL exécutable, et les progrès récents des grands modèles de langage (LLM) ont rendu les premiers déploiements en entreprise de plus en plus envisageables. Malgré ces avancées, deux défis persistent: (i) le coût élevé des pipelines Text-to-SQL fortement dépendants des LLM pour traiter les requêtes les plus complexes, alors même que les charges de travail réelles couvrent un large éventail de complexité; et (ii) une évaluation reposant sur une métrique grossière et binaire, telle que l’exactitude d’exécution, ainsi que sur des benchmarks publics dont les schémas ne reflètent pas ceux des entreprises. Cette thèse traite ces défis à travers de deux contributions complémentaires. Premièrement, nous introduisons un cadre de routage de LLM sensible au coût pour le Text-to-SQL, qui sélectionne, pour chaque requête, le modèle le moins coûteux susceptible de générer un SQL exact, au lieu de recourir systématiquement à un unique modèle de référence pour toutes les requêtes NL. Notre routeur est léger, construit à partir de signaux peu coûteux et de règles de décision simples (basées sur des scores et sur la classification), de sorte que la surcharge induite par le routage reste négligeable par rapport à l’étape de génération SQL qu’il optimise. Des expériences sur un benchmark récent montrent que le routage conserve une exactitude proche de celle du modèle le plus performant tout en réduisant le coût, ce qui le rend particulièrement adapté aux déploiements à fort volume. Deuxièmement, nous renforçons l’évaluation à la fois du point de vue des métriques et des données d’évaluation. Du côté des métriques, nous proposons des mesures d’exécution fines opérant sur les tables de résultats exécutées: l’Execution Precision (EXP) quantifie la part de la sortie prédite qui est correcte, l’Execution Recall (EXR) quantifie la part de la sortie de référence récupérée, et leur score F1 en fournit une synthèse. Ces métriques mettent en évidence la correction partielle et distinguent la sur-prédiction de la sous-prédiction d’une manière que l’exactitude d’exécution binaire ne permet pas, offrant ainsi un signal plus diagnostique pour le débogage. Du côté des données, nous introduisons la Textual Query Augmentation (TQA), qui dé-naturalise systématiquement les identifiants de schéma et leurs mentions en NL, par exemple en remplaçant des noms descriptifs par des abréviations de style entreprise, tout en préservant la sémantique. Appliquée à des systèmes Text-to-SQL de l’état de l’art, la TQA révèle une fragilité importante sous des régimes de nommage proches de ceux des entreprises et permet une évaluation plus réaliste, centrée sur la robustesse. Notre cadre de routage, nos métriques fines et la TQA constituent des approches pratiques pour rendre les systèmes Text-to-SQL fondés sur des LLM à la fois plus efficaces et évalués de manière plus fiable, dans des conditions plus proches de l’usage réel en entreprise.