Étude de la vulnérabilité des systèmes de détection d'intrusion par apprentissage par renforcement face aux comportements adverses

Ce mémoire explore l’utilisation de l’Apprentissage par Renforcement Profond (DRL) pour la détection d’intrusion, et analyse la vulnérabilité de ces agents face aux attaques par exemples adverses. À mesure que les réseaux informatiques se complexifient, la sécurité des infrastructures critiques repose sur la performance des Systèmes de Détection d’Intrusion (SDI). Le DRL offre une approche prometteuse pour s’adapter à ces environnements interconnectés. Dans un premier temps, nous développons donc un nouvel agent DRL spécifiquement conçu pour la détection d’intrusion dans les réseaux informatiques. Son efficacité est évaluée sur divers jeux de données, tels que SWaT, AWID et NSL-KDD, pour déterminer sa pertinence dans la détection des menaces cybernétiques. Par la suite, nous examinons la vulnérabilité de ces agents face à différentes attaques adverses, notamment Fast Gradient Sign Method (FGSM) et Projected Gradient Descent (PGD). Les résultats révèlent que nos agents SDI sont sensibles aux perturbations les plus subtiles, soulignant ainsi la nécessité de renforcer leur robustesse par des mécanismes de défense adéquats. Nous étudions ensuite des méthodes permettant d’accroître la robustesse des agents face aux attaques adverses. Nous analysons l’impact des hyperparamètres et de l’architecture du réseau sur les performances et la résistance des modèles, et nous évaluons la pertinence de l’entraînement adverse pour renforcer leur résistance aux attaques. Cette recherche permet de mieux comprendre les forces et les limites du DRL dans la détection d’intrusion et souligne l’importance d’adopter des stratégies de défense robustes. En abordant la vulnérabilité des agents SDI par RL, ce travail jette les bases de la sécurisation des infrastructures critiques face aux menaces cybernétiques modernes.

Abstract

The increasing complexity and connectivity of communication networks have exposed them to a wide range of cyber threats, necessitating efficient Intrusion Detection Systems (IDS) for safeguarding critical infrastructure. Deep Reinforcement Learning (DRL) has emerged as a promising approach for IDS, leveraging its adaptability and ability to handle complex environments. However, the vulnerability of deep neural networks to adversarial attacks raises concerns about the reliability of IDS agents in the face of sophisticated adversaries. This thesis investigates the application of DRL for intrusion detection and explores its vulnerability to adversarial attacks. The research begins by constructing a novel DRL-IDS agent, tailored to the characteristics of the studied networks. We evaluate the agent’s performance on diverse datasets, including SWaT, AWID, and NSL-KDD, to establish its effectiveness in detecting cyber threats. The investigation then delves into the vulnerability of the DRL-IDS agent by applying adversarial attacks such as Fast Gradient Sign Method (FGSM) and Projected Gradient Descent (PGD). The results expose the agent’s susceptibility to adversarial examples and underscore the need for defense mechanisms to enhance its robustness. The subsequent section explores the methods to improve the agent’s robustness against adversarial attacks. We analyze the impact of hyperparameters and network architecture on the agent’s performance and resilience. Additionally, we examine the potential of adversarial training to enhance the agent’s robustness to attacks. The findings of this research contribute to a better understanding of the strengths and limitations of DRL for intrusion detection and highlight the significance of adopting robust defense strategies. By addressing the vulnerability of DRL-IDS agents, this work lays the groundwork for securing critical infrastructure in the face of emerging cyber threats.