Learning to Rank with BERT for Argument Quality

À ce jour, la tâche d'ordonnancement de la qualité des arguments demeure un défi. Celle- ci vise à évaluer une mesure de qualité des arguments sous la forme de textes libres. La grande majorité des initiatives faisant partie de l'état de l'art approchent la tâche en utilisant des méthodes d'ordonnancement de type «pointwise», cherchant à prédire un score de qualité absolu. Nous proposons plutôt de chercher à apprendre à ordonner les arguments selon leur mesure relative de qualité. En effet, nous expérimentons avec plusieurs méthodes d'apprentissage d'ordonnancement, tels que des méthodes de type «pointwise», «pairwise» et «list-wise». Nous comparons la performance de chacune de ces méthodes sur la tâche d'ordonnancement de la qualité des arguments. Pour ce faire, nous utilisons la puissante capacité de l'architecture BERT à construire la représentation d'un argument, combinée avec des méthodes d'apprentissage d'ordonnancement, pour ordonner de manière effective les arguments d'une liste selon leur mesure de qualité. De plus, nous démontrons qu'un ensemble de modèles entraînés avec des fonctions de pertes différentes augmente la performance pour l'identification des arguments les plus convaincants d'une liste. Nous comparons l'architecture BERT, combinée à des méthodes d'apprentissage d'ordonnancement, avec les méthodes de l'état de l'art. Nous effectuons cette comparaison sur tous les ensembles de données majeurs de qualité d'argument et démontrons comment une approche d'apprentissage d'ordonnancement présente une meilleure performance à identifier les arguments les plus convaincants d'une liste.

Abstract

The task of argument quality ranking, which identifies the quality of free text arguments, remains, to this day, a challenge. While most state-of-the-art initiatives use point-wise rank- ing methods and predict an absolute quality score for each argument, we instead focus on learning how to order them by their relative convincingness. Therefore, we experiment with several learning-to-rank methods for the argument quality ranking task, including pointwise, pairwise and list-wise learning-to-rank approaches. We compare how each of these methods perform on different argument quality datasets. We leverage BERT's powerful ability in building a representation of an argument, paired with learning-to-rank approaches to rank arguments according to their measure of convincingness. We also demonstrate how an ensemble of models trained with different ranking losses often improves the performance for the identification of the most convincing arguments of a list. We compare BERT coupled with learning-to-rank methods to state-of-the-art approaches on all major argument quality datasets available for the ranking task, demonstrating how a learning-to-rank approach performs better at outlining the topmost convincing arguments.