Quality Issues in Machine Learning Software Systems: Definition and Remedies

Pendant les dernières décennies, l’ingénierie informatique a fait de formidables progrès. Une des avancées récentes les plus importantes est l’intégration de l’apprentissage automatique dans les systèmes informatiques. Des applications qui auraient été impossibles à construire, telles que les voitures autonomes, font leur apparition dans notre vie quotidienne. En parallèle à l’arrivée de ces nouveaux produits, un nombre croissant de nouvelles rapportent les comportements indésirables de systèmes basés sur l’apprentissage automatique (SAAs). Seulement aux États-Unis, plus de 400 accidents de véhicule autonome ont eu lieu entre juillet et mai 2022. En plus de causer des problèmes de sécurité, les SAAs de mauvaise qualité peuvent nuire à de nombreux aspects de la vie quotidienne. Par exemple, un outil expérimental de Amazon créé pour faciliter le recrutement de candidats pour un emploi rejetait les candidatures de femmes plus souvent que celles des hommes. Les SAAs modernes ont donc des problèmes de qualité, et, comme pour plusieurs problèmes, il faut les comprendre pour les résoudre. L’objectif de ce mémoire est de comprendre et définir les problèmes de qualité des SAAs et d’identifier des remèdes potentiels à ces problèmes. Pour ce faire, nous avons réalisé des entrevues (i.e., étude qualitative) auprès de praticiens afin de connaître et comprendre les problèmes de qualité qu’ils rencontrent et les techniques qu’ils ont mises en place afin d’en atténuer les conséquences. Après avoir réalisé 42 entrevues, nous avons établi une liste de 18 problèmes de qualité, pour lesquels nous décrivons leurs causes et conséquences. Nous rapportons 21 techniques utilisées par les praticiens pour atténuer les problèmes de qualité identifiés et en proposons 12 autres basées sur nos connaissances de la littérature. Pour valider les résultats de notre recherche, nous avons partagé un questionnaire avec 21 praticiens dans lequel ils indiquaient la fréquence avec laquelle ils rencontraient les problèmes que nous avons identifiés. Nos résultats montrent que (1) l’utilisation de l’apprentissage automatique dans des systèmes informatiques pose un ensemble unique de défis et que (2) les praticiens peinent à construire des SAAs de qualité. La plupart des problèmes découlent (1) d’un manque d’outils appropriés, (2) de problèmes organisationnels, ou (3) de connaissances limitées parmi les développeurs/praticiens. Notre recherche montre aussi qu’un grand nombre de praticiens ont des problèmes de qualité des données menant à des conséquences négatives sur les SAAs. Ils rapportent souvent devoir travailler avec des ensembles de données comportant des valeurs manquantes ou incorrectes.