Deep Reinforcement Learning for Intrusion Detection in IoT Systems: Enhancing Security and Energy Efficiency

L’Internet des Objets (IoT) transforme les industries en permettant l’automatisation en temps réel et la prise de décision intelligente dans les villes intelligentes, les systèmes de santé et les environnements industriels. Toutefois, son expansion rapide introduit des défis de cybersécurité majeurs, aggravés par les contraintes de ressources, la diversité des protocoles de communication et l’évolution des menaces, telles que les attaques par déni de service distribué (DDoS). Les systèmes de détection d’intrusion (IDS) traditionnels souffrent de taux élevés de faux positifs, d’une adaptabilité limitée et d’une charge computationnelle excessive, soulignant ainsi la nécessité de solutions de sécurité intelligentes et auto-adaptatives conciliant détection des menaces et efficacité énergétique. Cette thèse répond à ces défis en proposant trois modèles innovants d’IDS basés sur l’apprentissage par renforcement profond (DRL) : DeepEdgeIDS, AutoDRL-IDS et EdgeShield- DRL. Ces modèles détectent et atténuent dynamiquement les cybermenaces à grande échelle grâce à l’utilisation de DRL supervisé et non supervisé, de la relecture d’expérience (experience replay) et de fonctions de récompense adaptatives. De plus, six modèles de sécurité IoT largement utilisés; à savoir: Personal Zone Hub (PZH), Trusted Communication Partner (TCP), Outbound-Only Connection (OOC), Blacklist (BL), Whitelist (WL) et Secure Sensor Node (SSN), sont évalués en termes de charge CPU, d’utilisation mémoire, de consommation énergétique et de robustesse en matière de sécurité. Ces analyses ont conduit au développement d’un cadre de sélection de patrons de sécurité basé sur le DRL, capable d’ajuster dynamiquement les configurations de sécurité en fonction des conditions en temps réel des passerelles de périphérie (“real-time edge gateway”), améliorant ainsi l’évolutivité et l’efficacité du système. L’un des apports majeurs de cette recherche est SecuEdge-DRL, un cadre de cybersécurité auto-adaptatif intégrant le DRL avec le modèle MAPE-K (“Monitor-Analyze-Plan-Execute- Knowledge”) afin d’optimiser dynamiquement les politiques de sécurité. Cette thèse introduit également une suite de test IDS modulaire, offrant une plateforme d’évaluation standardisée pour les modèles IDS basés sur l’apprentissage automatique dans les environnements IoT et Software-Defined Networking (SDN). Des expérimentations approfondies sur banc d’essai démontrent que les IDS basés sur le DRL améliorent significativement la précision de détection des menaces, réduisent le temps de réponse, diminuent le taux de faux positifs et améliorent la consommation énergétique, surpassant ainsi les approches IDS conventionnelles. En réduisant la charge computationnelle et la consommation énergétique tout en limitant les émissions de vi carbone, cette recherche contribue à l’essor de solutions de cybersécurité durables pour les déploiements IoT à grande échelle.

Abstract

The Internet of Things (IoT) transforms industries by enabling real-time automation and intelligent decision-making in smart cities, healthcare, and industrial systems. However, its rapid expansion introduces critical cybersecurity challenges, exacerbated by resource constraints, diverse communication protocols, and evolving threats such as distributed Denial of Service (DDoS) attacks. Traditional Intrusion Detection Systems (IDS) suffer from high false positive rates, limited adaptability, and excessive computational demands, underscoring the need for intelligent, self-adaptive security solutions that balance threat detection and energy efficiency. This dissertation addresses these challenges by proposing three novel Deep Reinforcement Learning (DRL)-driven IDS models—DeepEdgeIDS, AutoDRL-IDS, and EdgeShield-DRLthat dynamically detect and mitigate large-scale cyber threats using supervised and unsupervised DRL, experience replay, and adaptive reward functions. Additionally, six widely used IoT security patterns—Personal Zone Hub (PZH), Trusted Communication Partner (TCP), Outbound-Only Connection (OOC), Blacklist (BL), Whitelist (WL), and Secure Sensor Node (SSN)—are evaluated in terms of CPU load, memory usage, energy consumption, and security robustness. These insights inform the development of a DRL-driven security pattern selection framework that autonomously adjusts security configurations based on real-time edge gateway conditions, enhancing scalability and efficiency. A key contribution of this research is SecuEdge-DRL, a self-adaptive cybersecurity framework integrating DRL with the MAPE-K (Monitor-Analyze-Plan-Execute-Knowledge) model to optimize security policies dynamically. This dissertation also introduces a plugin-based IDS test suite, providing a standardized evaluation platform for ML-based IDS models in IoT and Software-Defined Networking (SDN) environments. Comprehensive real-world testbed experiments demonstrate that DRL-based IDSs significantly improve threat detection accuracy, reduce response time, lower false positive rates, and optimize energy consumption, outperforming conventional IDS approaches. By minimizing computational overhead and energy consumption while mitigating carbon emissions, this research advances sustainable cybersecurity solutions for large-scale IoT deployments.