On the Cost and Value of Build Automation

L'Intégration Continue (CI) est un processus de développement par lequel des changements de code d'un projet sont régulièrement testés et validés, souvent de manière quotidienne, afin de pouvoir mettre à jour plus régulièrement un produit. Ce système est de plus en plus utilisé notamment dans de grosses compagnies qui doivent gérer la participation de nombreux collaborateurs à un projet/produit commun. La validation du maintien de la qualité logicielle d'un produit est primordiale pour que le produit puisse être employé en continu par ses utilisateurs. Afin de faciliter cette intégration continue, les gestionnaires CI font souvent appel à des systèmes de builds automatisés: un build est une vérification de code via une compilation et un/des test(s) dans des conditions variées (différentes plateformes, versions, etc.). La gestion automatisée de ces builds permet aux systèmes de tester la validation de code à chaque arrivée de changements de code.

Abstract

Continuous Integration (CI) has become the core infrastructure of modern software organizations, enabling them to update projects more regularly (i.e., daily) while keeping the quality of the code valid and relevant. However, with more than 100,000 automated build jobs triggered each day by, for example, the Mozilla CI, build automation comes with a financial and time cost that should not be neglected. Through this thesis, we aim at validating the hypothesis that the cost of build automation is not negligible and that the build activity could be reduced. This thesis presents the results of a quantitative study of the CI over the course of 20 months, analyzing over 54 million Mozilla build jobs to identify the cost of build automation triggered for each code change as well as a build reduction proposition, focusing on the case of brown builds at Ubisoft.