An Empirical Study of Testing and Release Practices for Machine Learning Software Systems

Nous assistons à une adoption croissante des algorithmes d'apprentissage automatique et d'apprentissage profond dans de nombreux systèmes logiciels, y compris dans des domaines critiques telque la santé et les transports. D'une part, assurer la qualité logicielle de ces systèmes est encore un défi ouvert pour la communauté des chercheurs, principalement en raison de la nature inductive de l'apprentissage automatique. Mais, d'un autre côté, les équipes d'ingénierie et de mise en production de systèmes intégrant l'intelligence artificielle, sont tenues de fournir continuellement des produits logiciels de haute qualité aux utilisateurs. Récemment, la communauté de génie logiciel a commencée à adapter plusieurs concepts des tests de logiciels traditionnels, tels que les tests par mutation, afin d'améliorer la fiabilité des systèmes logiciels basés sur l'apprentissage automatique. De plus, pour faciliter le processus de livraison de ces systèmes, les éditeurs de logiciels proposent de nouveaux changements dans leur processus de mise en production qui s'adaptent aux nouvelles technologies telles que le dé- ploiement continu et l'Infrastructure-as-Code. Cependant, les ingénieurs en charge de la mise en production de ces logiciels éprouvent des difficiles d'implémentation de ces technologies et ont recours à des sites Web de questions et réponses tels que StackOverflow pour trouver des réponses. Concernant la qualité des systèmes logiciels basés sur l'apprentissage automatique, il n'est pas clair si les techniques de test proposées dans les travaux de recherche académiques sont adoptées en pratique. De plus, il existe très peu d'information sur les stratégies de test employés par les ingénieurs des systèmes logiciels basés sur l'apprentissage automatique.

Abstract

We are witnessing an increasing adoption of machine learning (ML) and deep learning (DL) algorithms in many software systems, including safety-critical systems such as health care systems or autonomous driving vehicles. On the one hand, ensuring the software quality of these systems is yet an open challenge for the research community, mainly due to the inductive nature of ML software system. But, on the other hand, the ML and the Release engineering teams are continuously required to deliver high-quality ML software products to the end-user. Few recent research advances in the quality assurance of ML systems have been adapting different concepts from traditional software testing, such as mutation testing, to help im- prove the reliability of ML software systems. Also, to assist in the delivery process of these systems, modern ML software companies are proposing new changes in their delivery process that adapt to new technologies such as continuous deployment and Infrastructure-as-Code. However, the ML and release engineers still find these practices challenging and resort to question and answer websites such as StackOverflow to find answers. For the ML software quality, it is unclear if any of the proposed testing techniques from research are adopted in practice. Moreover, there is little empirical evidence about the testing strategies of ML engineers. Software testing and release engineering together are important for the efficient delivery of reliable ML applications.