An Empirical Study of Testing and Release Practices for Machine Learning Software Systems

Nous assistons à une adoption croissante des algorithmes d'apprentissage automatique et d'apprentissage profond dans de nombreux systèmes logiciels, y compris dans des domaines critiques telque la santé et les transports. D'une part, assurer la qualité logicielle de ces systèmes est encore un défi ouvert pour la communauté des chercheurs, principalement en raison de la nature inductive de l'apprentissage automatique. Mais, d'un autre côté, les équipes d'ingénierie et de mise en production de systèmes intégrant l'intelligence artificielle, sont tenues de fournir continuellement des produits logiciels de haute qualité aux utilisateurs. Récemment, la communauté de génie logiciel a commencée à adapter plusieurs concepts des tests de logiciels traditionnels, tels que les tests par mutation, afin d'améliorer la fiabilité des systèmes logiciels basés sur l'apprentissage automatique. De plus, pour faciliter le processus de livraison de ces systèmes, les éditeurs de logiciels proposent de nouveaux changements dans leur processus de mise en production qui s'adaptent aux nouvelles technologies telles que le dé- ploiement continu et l'Infrastructure-as-Code. Cependant, les ingénieurs en charge de la mise en production de ces logiciels éprouvent des difficiles d'implémentation de ces technologies et ont recours à des sites Web de questions et réponses tels que StackOverflow pour trouver des réponses. Concernant la qualité des systèmes logiciels basés sur l'apprentissage automatique, il n'est pas clair si les techniques de test proposées dans les travaux de recherche académiques sont adoptées en pratique. De plus, il existe très peu d'information sur les stratégies de test employés par les ingénieurs des systèmes logiciels basés sur l'apprentissage automatique.