Learning to Rank with BERT for Argument Quality

À ce jour, la tâche d'ordonnancement de la qualité des arguments demeure un défi. Celle- ci vise à évaluer une mesure de qualité des arguments sous la forme de textes libres. La grande majorité des initiatives faisant partie de l'état de l'art approchent la tâche en utilisant des méthodes d'ordonnancement de type «pointwise», cherchant à prédire un score de qualité absolu. Nous proposons plutôt de chercher à apprendre à ordonner les arguments selon leur mesure relative de qualité. En effet, nous expérimentons avec plusieurs méthodes d'apprentissage d'ordonnancement, tels que des méthodes de type «pointwise», «pairwise» et «list-wise». Nous comparons la performance de chacune de ces méthodes sur la tâche d'ordonnancement de la qualité des arguments. Pour ce faire, nous utilisons la puissante capacité de l'architecture BERT à construire la représentation d'un argument, combinée avec des méthodes d'apprentissage d'ordonnancement, pour ordonner de manière effective les arguments d'une liste selon leur mesure de qualité. De plus, nous démontrons qu'un ensemble de modèles entraînés avec des fonctions de pertes différentes augmente la performance pour l'identification des arguments les plus convaincants d'une liste. Nous comparons l'architecture BERT, combinée à des méthodes d'apprentissage d'ordonnancement, avec les méthodes de l'état de l'art. Nous effectuons cette comparaison sur tous les ensembles de données majeurs de qualité d'argument et démontrons comment une approche d'apprentissage d'ordonnancement présente une meilleure performance à identifier les arguments les plus convaincants d'une liste.