Representation Learning for Enhanced Software Analytics

L’avancement de l’Intelligence Artificielle (IA) a propulsé diverses applications dans le Génie Logiciel (GE), formant le domaine de l’IA pour le Génie Logiciel. Cependant, l’utilisation directe de l’IA, en particulier des techniques de représentation des données, pour les tâches liées au GE peut ne pas atteindre des performances optimales en raison des différences entre les conceptions générales des techniques d’IA et les besoins spécifiques au domaine. L’intégration de connaissances spécifiques au domaine et de nuances spécifiques aux tâches dans le processus d’apprentissage de la représentation des données pourrait améliorer les solutions alimentées par l’IA pour les tâches liées au GE. L’apprentissage de représentation est un processus en apprentissage automatique où les algorithmes extraient des motifs significatifs à partir de données brutes pour créer des représentations simplifiées et compréhensibles à utiliser dans des tâches en aval. Cette thèse se concentre sur l’apprentissage de la représentation des artefacts logiciels pour différentes tâches aval dans deux sous-domaines de l’analyse logicielle: la détection d’anomalies basée sur les journaux et l’exploration de données de forums techniques. Ces sous-domaines impliquent deux types courants et informatifs d’artefacts logiciels : les données de journal, générées par les déclarations de journalisation des systèmes logiciels pour enregistrer l’état d’exécution, et les messages de forums techniques, rédigés par des praticiens en logiciels cherchant des solutions à divers problèmes liés aux logiciels. L’analyse des journaux est cruciale pour l’identification des problèmes et l’amélioration de la fiabilité du système. La détection des anomalies basée sur les journaux, qui vise à découvrir les comportements anormaux du système à partir des données de journal, est indispensable à l’analyse des journaux. Elle implique la transformation des données textuelles des journaux en vecteurs numériques grâce à une représentation des journaux. Dans cette thèse, nous évaluons de manière exhaustive les techniques de représentation des journaux existantes, en identifiant les facteurs clés influençant leur efficacité. De plus, nous introduisons un modèle de détection d’anomalies basé sur des transformateurs configurable afin d’étudier davantage la contribution des différents types d’informations au sein des ensembles données de journaux publics courants. Les résultats de l’étude offrent des perspectives pour la conception de flux de travail d’analyse des journaux et approfondissent la compréhension des tâches de détection d’anomalies basées sur les journaux. Les forums techniques en ligne, tels que Stack Overflow, constituent une ressource importante pour l’analyse logicielle et les activités de support à travers différentes phases du cycle de vie du logiciel. Dans la thèse, nous nous concentrons sur deux tâches clés concernant les données des publications sur les forums techniques. La première tâche est la détection automatisée des intentions, qui consiste à classer les discussions des développeurs en différentes catégories en fonction des intentions des auteurs. La deuxième tâche est la détection des doublons, qui vise à identifier et à relier des questions techniques similaires ou identiques exprimées avec des formulations différentes. Pour aborder ces deux tâches aval, nous utilisons des Modèles de langage pré-entraîné pour encoder les données textuelles et générer des représentations des publications techniques. De plus, nous utilisons des stratégies d’apprentissage telles que l’ajustement fin et le transfert d’apprentissage pour adapter les représentations pré-entraînées aux exigences spécifiques des tâches en aval, ce qui améliore leur performance. Les conclusions de cette thèse valident notre hypothèse : en intégrant les connaissances sur les spécificités des données et les tâches en aval, nous pouvons combler le fossé entre les techniques générales de traitement automatique du langage naturel et les exigences des tâches en ingénierie logicielle. Nous nous attendons à ce que les résultats et les conclusions de notre recherche offrent des conseils et une assistance à la fois aux chercheurs et aux praticiens alors qu’ils abordent les tâches aval dans l’analyse logicielle, en particulier celles impliquant des données spécifiques au domaine. Cela leur permettra de prendre des décisions plus éclairées lors de la sélection et de l’application des techniques de représentation d’apprentissage automatique existantes.