Reinforcement-Learning-Based Attacks on Adaptive Traffic Control Systems

Grâce à l'utilisation des capteurs et aux nouvelles technologies de la communication, les systèmes de contrôle adaptatif de trafic routier (Adaptive Traffic Control Systems ou ATCS) sont devenus une solution prometteuse dans le domaine du contrôle de la route au sein des villes modernes. Ces systèmes visent à diminuer la congestion routière en adaptant continuellement les feux de signalisation à la demande de trafic en temps réel. Cependant, le manque de mesures de sécurité adoptées dans ce domaine rend ces systèmes vulnérables à des attaques informatiques. Étant donné que ces systèmes sont capables de estimer le comportement des véhicules, le fonctionnement d'un ATCS est bien dynamique face aux conditions du trafic de la route. Par conséquent, la réponse du système n'est pas connue préalablement. Nous basons notre étude sur l'hypothèse qu'une attaque informatique est plus difficile à détecter lorsqu'un attaquant cible un système adaptatif, contrariement à un système traditionnel dont le fonctionnement demeure toujours immuable. Néanmoins, une attaque qui reste inaperçue demande un niveau de raffinement élevé. Dans cette optique, nous avons développé une plateforme d'essai pour réproduire des attaques intelligents sur un système ATCS générique. La solution proposée intègre des techniques d'apprentissage profond par renforcement (Deep Reinforcement Learning ou DRL) pour contrôler le traffic dans un réseau routier avec un simulateur microscopique de trafic routier. En utilisant les techniques de DRL, nous avons entrainé un agent pour produire de la congestion dans un réseau routier composé de 25 intersections. L'algorithme d'apprentissage fut Proximal Policy Optimization (PPO). Cette plateforme permet l'exécution des cyberattaques sur deux scénarios différents. Le premier reproduit les actions d'un attaquant qui connait l'organisation de l'intérieur, tandis que le deuxième vise à simuler l'exécution d'une attaque de l'homme au milieu (Man-in-the-Middle ou attaque MITM) depuis l'extérieur de la compagnie. Dans ce contexte, nous présentons un outil de tests qui fournit l'environnement nécessaire pour déployer ces scénarios.

Abstract

Adaptive Traffic Control Systems (ATCS) are emerging as a promising solution for urban traffic control in modern cities with the use of sensors and communication features. Seeking to mitigate urban congestion in a city, ATCS continuously adapt traffic light timing to meet realtime traffic demand. Nevertheless, due to its present lack of security, these systems remain vulnerable to cyber-attacks. Given that these systems can forecast traffic conditions, the operation of ATCS is meant to adapt to real-time traffic demand dynamically. Consequently, the system's response is not known beforehand. We believe that attacking an adaptive system remains unnoticed in an easier manner than it would be if an attacker targeted a traditional system whose operation is always the same. However, going unnoticed requires a higher sophistication. With this aim in mind, we developed a testbed that enables the reproduction of intelligent attacks on a generic ATCS. It integrates Deep Reinforcement Learning (DRL) techniques to control traffic in a road network with a microscopic traffic simulation tool. A DRL-based agent was trained to produce congestion on a road network constituted of 25 intersections. The learning algorithm that we used was Proximal Policy Optimization (PPO). The proposed testbed supports the reproduction of cyber-attacks in two different scenarios. The first one enables reproducing cyber-attacks from an insider standpoint, while the second of them implements a Man-in-the-Middle (MITM) attack executed by an external attacker. In this context, we present the test platform that provides the required environment to deploy these scenarios.