The Impact of Operating Systems and Environments on Build Results

L'intégration continue (IC) est une pratique d'ingénierie logicielle permettant d'identifier et de corriger les fautes logicielles le plus rapidement possible après l'intégration d'un changement de code dans système de contrôle de versions. L'objectif principal de l'IC est d'informer les développeurs des conséquences des changements effectués dans le code. L'IC s'appuie sur différents systèmes d'exploitation et environnements d'exécution pour vérifier si un système fonctionne toujours après l'intégration des changements. Ainsi, de nombreux "builds" sont créés, alors que seulement quelques-uns révèlent de nouvelles fautes. En d'autres termes, un phénomène d'inflation des builds se produit, où le nombre croissant de builds a un rendement décroissant. Cette inflation rend l'interprétation des résultats des builds difficile, car l'inflation augmente l'importance de certaines fautes, alors qu'elle cache l'importance d'autres. Cette thèse fait progresser notre compréhension de l'impact des systèmes d'exploitation et des environnements d'exécution sur les fautes des builds et le biais potentiel encouru à cause de l'inflation des builds par une étude à grande échelle de 30 millions de builds de l'écosystème CPAN. Nous choisissons CPAN parce que CPAN fournit un riche ensemble de données pour l'analyse automatisée des builds sur des douzaines d'environnements (versions de Perl) et systèmes d'exploitation. Cette thèse rapporte une analyse quantitative et qualitative sur les fautes dans les builds pour classer ces fautes et trouver la raison de leur apparition. Nous observons : (1) l'évolution des fautes des builds au fil du temps et rapportons que plus de builds sont effectués, plus le pourcentage de fautes de builds diminue, (2) différents environnements et systèmes d'exploitation mettent en avant différentes fautes, (3) les résultats des builds doivent être filtrés pour identifier des fautes fiables, et (4) la plupart des fautes des builds sont dus à leur dépendance à l'API. Les chercheurs et les praticiens devraient tenir compte de l'impact de l'inflation des builds lorsqu'ils analysent ou exécutent des builds.

Abstract

Continuous Integration (CI) is a software engineering practice to identify and correct a defect as soon as possible after a code change has been integrated into the version control system. The main purpose of CI is to give developers a quick feedback of code changes. These changes build on different OSes and runtime environments to check backward compatibility as well as to check if the product still works with the new changes. So, many builds are performed, while only a few of them can identify new failures. In other words, a phenomenon of build inflation can be observed, where the increasing number of builds has diminishing returns in terms of identified failures vs. costs of running the builds. This inflation makes interpreting build results challenging as it increases the importance of some failures, while it hides the importance of others. This thesis advances our understanding of the impact of OSes and runtime environments on build failures and build inflation through a large-scale study of 30 million builds of the CPAN ecosystem. We choose CPAN because CPAN provides a rich data set for the analysis of automated builds on dozens of environments (Perl versions) and operating systems. This thesis performs quantitative and qualitative analysis on build failures to classify these failures and find out the reason of their occurrence. We observe: (1) the evolution of build failures over time and report that while more builds are being performed, the percentage of them identifying a failure drops, (2) different OSes and environments are not equally reliable, (3) the build results of CI must be filtered to identify reliable failing data, (4) and most build failures are due to API dependency. Researchers and practitioners should consider the impact of build inflation when they are analyzing and-or performing builds.