A Double Deep Q-network Approach for Online Cyber-attack Detection in Power System Dynamic State Estimation

Afin de rendre les réseaux électriques plus intelligents, les compagnies d'électricité ont mis en œuvre davantage de compteurs intelligents, d'infrastructures de communication et d'autres dispositifs dans les réseaux électriques. Les synchrophaseurs appelés également Phase Mea-surement Units (PMU) font partie de ces nouvelles technologies exploitées progressivement dans les smart grids. L'élargissement de l'infrastructure des technologies de l'information et de la communication (TIC) présente de nombreux avantages pour les réseaux de transmission et de distribution. Cependant, le déploiement de ces nouvelles solutions apporte toutefois son lot de nouveaux défis. En e˙et, ces technologies augmente les risques de cyber-attaques et d'activités hostiles. Dans ce contexte, les PMU sont également exposés aux cyberattaques puisqu'ils nécessitent une infrastructure de communication pour transmettre les mesures aux centres de contrôle. Dans la littérature, il existe de nombreuses méthodes de détection des cyberattaques, y compris les techniques basées sur l'apprentissage automatique utilisant les données PMU. Néanmoins, la plupart de ces approches de détection sont développées à l'aide d'approches d'apprentissage supervisées et non supervisées, qui nécessitent une connaissance et une compréhension préalables de tous les types et modèles de cyberattaques. Par ailleurs, il existe un manque d'information sur les types de menaces visées par ces attaques et les compagnies d'électricité n'ont pas une connaissance de l'ensemble des attaques pour les utiliser dans des données de formation et de validation. En conséquence, il semble indispensable de développer une méthode de détection des cyber-attaques qui ne nécessite pas des connaissances préalables sur les types d'attaques. À cet égard, il existe une méthode de détection des cyberattaques couvrant cette fonctionnalité, qui n'a pas besoin d'avoir une connaissance préalable des types de cyberattaques. Dans cet algorithme de détection, une combinaison de filtre de Kalman et de SARSA est utilisée pour développer la méthode de détection proposée. Cependant, cette méthode de détection présente certaines lacunes comme la discrétisation des signaux d'entrée. En raison de la limitation de Q-learning et de la lourdeur des calculs, il est très difficile et coûteux d'augmenter les dimensions de la table Q en diminuant les étapes de discrétisation et/ou en augmentant la longueur des données de série temporelle d'entrée (taille de la fenêtre glissante). Cette étude vise donc à améliorer la méthode de détection précitée. Ainsi, on propose une approche universelle de détection des cyberattaques en ligne pour une application dans l'estimation d'état en temps réel des réseaux électriques. L'approche de détection proposée est basée sur l'algorithme Deep Q-Network (DQN), qui résout le problème de la taille de a fenêtre glissante et de la discrétisation des signaux d'entrée. Dans l'algorithme proposé, en premier temps, les données de Sortie PMU sont envoyées au filtre de Kalman étendu (EKF) pour estimer les états du système. Ensuite, Ces états estimés sont utilisés pour calculer l'estimation de la sortie PMU. Cette dernière est comparée aux sorties PMU en temps réel pour créer la fenêtre d'observation glissante en tant qu'entrée pour l'agent DQN. Contrairement à l'approche SARSA, l'approche proposée utilise des valeurs d'observation continues sans aucune limitation en termes de taille de la fenêtre d'observation glissante. Par conséquent, le temps de traitement est plus faible, ce qui est particulièrement important pour les applications du réseau électrique multi-machines à grande échelle. Les simulations sont effectuées pour un réseau mono-machine connecté à un jeu de barres infini. Dans cette étude, il a été démontré que l'approche proposée permet de détecter efficacement plusieurs cyberattaques et anomalies.

Abstract

Over the time, utilities are implementing more smart meters, communication infrastructure and other intelligent devices in conventional power grids to make them more smart and in-telligent. Phasor Measurement Unit(PMU) is one of these equipments that are practically operational and progressively are being exploited in the smart grids. Enlargement of Infor-mation and Communication Technology (ICT) infrastructure and measurement equipment provide a lot of benefits for utilities and their stakeholders. However, scaling ICT systems up increases the risks of cyber-attacks and hostile activities. PMUs are exposed to cyber-attacks too. Because, they need to use communication infrastructure to send their data to control centers via ICT structure and therefore always there is a risk of cyber-attack on the PMU data. In the literature, various cyber-attack detection methods including machine learning techniques using PMU data have been developed. Nevertheless, most of these cyber-attack detectors are using supervised and unsupervised learning approaches, which need field ex-pert knowledge about di˙erent types of cyber-attacks and prior comprehension about all possible kinds and patterns of cyber-attacks. This knowledge is required to form training and validation data and their peer labels properly. Unfortunately, howbeit a defect of these techniques is that always there is not enough knowledge about types of cyber-attacks and maybe attackers think of a type of attack that utilities have not used in their training and validation data sets and it could be a potential danger. Accordingly, it seems to be indispensable to develop a cyber-attack detection method that doesn't need to have prior knowledge about types of attack. In this regard, there is a cyber-attack detection method covering this feature, which doesn't need to have a-priori knowledge about the types of cyber-attacks. In this detection algorithm, a combination of Kalman Filter and SARSA is used to develop the proposed detection method. But, this cyber-attack detection method has some deficiencies. It needs to discretize the input signals, which is somehow complicated. Besides, due to the limitation of the Q-learning and computational burden, it is very hard and expensive to increase dimensions of Q-table by decreasing discretization steps and/or increasing length of input time series data (sliding window size). This study aims to improve the aforementioned detection method. Thus, this research work proposes a universal on-line cyber-attack detection approach for application in real-time state estimation of power systems. The proposed detection approach is based on the Deep Q-Network (DQN) algorithm, which somehow solves the problem of sliding window size and discretization of the input signals. Also this study expands the existing algorithm and take advantage of dynamic state estimation. In the proposed algorithm Firstly, PMU output data are sent to Extended Kalman Filter (EKF) to estimate system states. Then, estimated system states are are used to calculate estimation of PMU output and then estimation of PMU output is compared with the real-time PMU outputs to build the sliding observation window as the input for DQN agent. As opposed to the SARSA approach, the proposed algorithm uses continuous observation values without any limitations in terms of sliding observation window size. Consequently , it is characterized by a lower computational burden, which is of particular importance for large-scale multi-machine power systems applications. Simulations are performed for a single-machine infinite-bus power system. In this study, it is shown that the proposed approach can eÿciently detect di˙erent types of cyber-attacks/anomalies.