Improving the Infrastructures of AIOps by Bridging the Data Gap

RÉSUMÉ Pour faire face à la complexité et à l’échelle croissantes des environnements informatiques modernes, les organisations se tournent de plus en plus vers des solutions automatisées et axées sur les données pour gérer et améliorer la disponibilité et les performances de leurs systèmes logiciels. Ces dernières années, le concept d’Intelligence Artificielle pour les Opéra-tions Informatiques (AIOps) a fait l’objet d’une attention particulière en tant qu’approche prometteuse et transformatrice. AIOps combine les technologies big data avec des techniques avancées d’Intelligence Artificielle (IA) et d’Apprentissage Automatique (AA) pour automa-tiser et améliorer les aspects clés des opérations informatiques. En minimisant les efforts manuels et en offrant une meilleure visibilité sur le comportement des systèmes, l’AIOps permet aux équipes informatiques de gérer plus efficacement des environnements complexes et distribués, tout en réduisant les coûts opérationnels et en améliorant la santé globale des systèmes. Comme pour tout système basé sur l’IA ou le AA, l’efficacité des solutions AIOps dépend fortement de l’accès à des données de haute qualité, pertinentes et diversifiées. Ces don-nées sont essentielles pour entraîner les modèles, évaluer les algorithmes et s’assurer que les solutions AIOps peuvent gérer la complexité et la variabilité des environnements réels. Cependant, malgré son importance, il y a une pénurie notable d’ensembles de données ac-cessibles au public provenant d’opérations informatiques réelles, et un nombre croissant de recherches a mis en évidence les défis critiques liés aux données qui entravent les progrès de l’AIOps. Essentiellement, les données AIOps peuvent être obtenues par deux approches prin-cipales : (1) Générer des données synthétiques en simulant des scénarios du monde réel, ou (2) Acquérir des données opérationnelles du monde réel auprès d’organisations informatiques. Ces deux méthodes s’accompagnent de défis et de limites qui leur sont propres. Cette thèse vise à remédier à la pénurie d’ensembles de données publiquement disponibles pour les AIOps en contribuant à la fois à la génération de données synthétiques et au partage de données préservant la vie privée. Tout d’abord, elle effectue une analyse empirique de la manière dont les données opérationnelles sont actuellement utilisées dans les solutions AIOps, en caractérisant les pipelines AIOps et en identifiant les lacunes. Deuxièmement, il caractérise les modèles et structures temporels communs dans les données télémétriques du monde réel que les travaux futurs sur la génération de données synthétiques réalistes pourront utiliser et reproduire. Troisièmement, il formalise une définition des données sensibles dans les journaux logiciels en se basant sur des perspectives réglementaires, universitaires et industrielles, contribuant ainsi à des pratiques respectueuses de la vie privée dans les opérations informatiques. Sur cette base, il présente SDLog, un cadre basé sur l’apprentissage profond qui surpasse les expressions régulières traditionnelles dans la détection des attributs sensibles, améliorant de manière significative la sécurité du partage des données et de l’analyse externe. Collectivement, ces contributions ne font pas seulement progresser l’état de la recherche sur les AIOps, mais fournissent également des outils et des connaissances pratiques que les chercheurs et les praticiens peuvent adopter pour générer, partager et analyser les données AIOps de manière plus efficace et plus sûre.

Abstract

To address the growing complexity and scale of modern IT environments, organizations are increasingly turning to automated, data-driven solutions to manage and improve the avail-ability and performance of their software systems. In recent years, the concept of Artificial Intelligence for IT Operations (AIOps) has gained significant attention as a promising and transformative approach. AIOps combines big data technologies with advanced techniques in Artificial Intelligence (AI) and Machine Learning (ML) to automate and improve key aspects of IT operations. By minimizing manual effort and providing deeper visibility into system behavior, AIOps empowers IT teams to manage complex, distributed environments more efficiently while reducing operational overhead and improving overall system health. As with any AI- or ML-based system, the effectiveness of AIOps solutions heavily depends on access to high-quality, relevant, and diverse data. This data is essential for training mod-els, evaluating algorithms, and ensuring that AIOps solutions can handle the complexity and variability of real-world environments. However, despite its importance, there is a no-table shortage of publicly available datasets drawn from actual IT operations, and a growing body of research has highlighted the critical data-related challenges hindering the progress of AIOps. In essence, AIOps data can be obtained through two main approaches: (1) Generat-ing synthetic data by simulating real-world scenarios, or (2) Acquiring real-world operational data from IT organizations. Both methods come with their own unique challenges and limi-tations. This thesis aims to address the shortage of publicly available datasets for AIOps by con-tributing to both synthetic data generation and privacy-preserving data sharing. First, it performs an empirical analysis of how operational data is currently used in AIOps solu-tions, characterizing AIOps pipelines and identifying gaps. Second, it characterizes common temporal patterns and structures in real-world telemetry data that future work in realistic synthetic data generation can use and replicate. Third, it formalizes a definition of sensitive data in software logs based on regulatory, academic, and industry perspectives, contribut-ing to privacy-aware practices in IT operations. Building on this, it introduces SDLog, a deep learning-based framework that outperforms traditional regular expressions in detecting sensitive attributes, significantly improving the safety of data sharing and external analysis. Collectively, these contributions not only advance the state of research in AIOps but also pro-vide practical tools and knowledge that researchers and practitioners can adopt to generate, share, and analyze AIOps data more effectively and securely.