Méthodes de diagnostic d'erreurs d'analyse syntaxique

In speech recognition applications, the set of sentences recognized by a grammar has a significant impact on the user experience. For a given interaction, the goal is to have a grammar covering a large number of scenarios without being general to the point of accepting forms that should be rejected. In this context, the development of automatic tools that can improve grammar coverage is utterly important. But to achieve this, we must first diagnose why a sentence hasn't been recognized. With this goal in mind, we set out to find robust parsing algorithms. Currently, there are three main families of algorithms, depending on the context used for the correction: local, regional or global. By their nature, the global correction algorithms provide better diagnoses because they analyze all possible error hypotheses. However, this has a cost in terms of time elapsed for an analysis. In this project, we investigated whether the local correction algorithms can compete with algorithms that perform a regional or global correction on the quality of the corrections. We evaluated three algorithms: Lyon's algorithm, which performs a global correction of errors, Anderson-Backhouse's algorithm, which performs a local correction of errors and a hybrid algorithm. The third one is a mix between Lyon's algorithm and a classic parsing algorithm that we have developed. It could be ranked among the family of regional correction algorithms. Using a strict methodology, we confirm that the global correction algorithm performs the best, but with a mean difference of only 3.96%. However, the local correction algorithm is respectively about 2 and 4 times faster than the hybrid algorithm and the global correction algorithm. In light of these results, we concluded that the algorithm performing local correction of errors may advantageously be compared to the algorithm doing global correction of errors but is much faster. This conclusion is in the context of our application, it could therefore be limited to it. Thanks to the good corrections offered by the local correction algorithm, we plan to use them in future work. We expect to use its speed to analyze a relatively large set of sentences and infer the best improvements that could be applied to the grammar in a full automatic manner.

Résumé

Dans les applications de reconnaissance vocale, l'ensemble des phrases qu'une grammaire reconnaît a un impact important sur l'expérience utilisateur. Pour une interaction donnée, le but est d'avoir une grammaire couvrant un grand nombre de cas de figure sans être trop générale au point d'inclure des formes qui devraient être rejetées. Dans cette optique, le développement d'outils automatiques pouvant améliorer une grammaire est d'une grande utilité. Mais pour y parvenir, il faut d'abord diagnostiquer les raisons pour lesquelles une phrase n'a pu être reconnue. Avec cet objectif en tête, nous nous sommes mis en quête d'algorithmes d'analyse syntaxique robuste. Actuellement, on peut distinguer trois grandes familles d'algorithmes, selon le contexte utilisé pour la correction : local, régional ou global. De par leur nature, les algorithmes de correction globale offrent de meilleurs diagnostics, car ils analysent toutes les hypothèses d'erreur possible. Cependant, ceci a un coût en termes de temps de calcul. Dans le cadre de ce projet, nous avons cherché à savoir si les algorithmes offrant une correction locale peuvent rivaliser avec les algorithmes qui effectuent une correction régionale ou globale au niveau de la qualité des corrections. Nous avons évalué trois algorithmes : l'algorithme de Lyon, qui effectue une correction globale, l'algorithme d'Anderson-Backhouse, qui effectue une correction locale, et finalement un algorithme que nous avons développé, qui pourrait être classé parmi la famille des algorithmes de correction régionale. Ce dernier est un hybride entre l'algorithme de Lyon et l'algorithme d'Earley. À l'aide d'une méthodologie bien précise, nous avons confirmé que l'algorithme de correction globale effectue les meilleures corrections, mais avec une différence moyenne de seulement 3.96 %. L'algorithme de correction locale est cependant environ 2 et 4 fois plus rapide respectivement que l'algorithme hybride et l'algorithme de correction globale. À la lumière de ces résultats, nous avons conclu que l'algorithme effectuant une correction locale peut avantageusement se comparer à l'algorithme de correction globale, mais en étant nettement plus rapide. Cette conclusion s'inscrit dans le contexte de notre l'application, elle y est donc peut-être limitée. Grâce à la bonne performance de l'algorithme de correction locale, nous envisageons de l'utiliser dans le cadre de travaux futurs. Nous prévoyons tirer profit de sa vitesse afin d'analyser un ensemble relativement grand de phrases et d'inférer les meilleures améliorations à apporter à la grammaire d'une manière totalement automatique.