A Double Deep Q-network Approach for Online Cyber-attack Detection in Power System Dynamic State Estimation

Afin de rendre les réseaux électriques plus intelligents, les compagnies d'électricité ont mis en œuvre davantage de compteurs intelligents, d'infrastructures de communication et d'autres dispositifs dans les réseaux électriques. Les synchrophaseurs appelés également Phase Mea-surement Units (PMU) font partie de ces nouvelles technologies exploitées progressivement dans les smart grids. L'élargissement de l'infrastructure des technologies de l'information et de la communication (TIC) présente de nombreux avantages pour les réseaux de transmission et de distribution. Cependant, le déploiement de ces nouvelles solutions apporte toutefois son lot de nouveaux défis. En e˙et, ces technologies augmente les risques de cyber-attaques et d'activités hostiles. Dans ce contexte, les PMU sont également exposés aux cyberattaques puisqu'ils nécessitent une infrastructure de communication pour transmettre les mesures aux centres de contrôle. Dans la littérature, il existe de nombreuses méthodes de détection des cyberattaques, y compris les techniques basées sur l'apprentissage automatique utilisant les données PMU. Néanmoins, la plupart de ces approches de détection sont développées à l'aide d'approches d'apprentissage supervisées et non supervisées, qui nécessitent une connaissance et une compréhension préalables de tous les types et modèles de cyberattaques. Par ailleurs, il existe un manque d'information sur les types de menaces visées par ces attaques et les compagnies d'électricité n'ont pas une connaissance de l'ensemble des attaques pour les utiliser dans des données de formation et de validation. En conséquence, il semble indispensable de développer une méthode de détection des cyber-attaques qui ne nécessite pas des connaissances préalables sur les types d'attaques. À cet égard, il existe une méthode de détection des cyberattaques couvrant cette fonctionnalité, qui n'a pas besoin d'avoir une connaissance préalable des types de cyberattaques. Dans cet algorithme de détection, une combinaison de filtre de Kalman et de SARSA est utilisée pour développer la méthode de détection proposée. Cependant, cette méthode de détection présente certaines lacunes comme la discrétisation des signaux d'entrée. En raison de la limitation de Q-learning et de la lourdeur des calculs, il est très difficile et coûteux d'augmenter les dimensions de la table Q en diminuant les étapes de discrétisation et/ou en augmentant la longueur des données de série temporelle d'entrée (taille de la fenêtre glissante). Cette étude vise donc à améliorer la méthode de détection précitée. Ainsi, on propose une approche universelle de détection des cyberattaques en ligne pour une application dans l'estimation d'état en temps réel des réseaux électriques. L'approche de détection proposée est basée sur l'algorithme Deep Q-Network (DQN), qui résout le problème de la taille de a fenêtre glissante et de la discrétisation des signaux d'entrée. Dans l'algorithme proposé, en premier temps, les données de Sortie PMU sont envoyées au filtre de Kalman étendu (EKF) pour estimer les états du système. Ensuite, Ces états estimés sont utilisés pour calculer l'estimation de la sortie PMU. Cette dernière est comparée aux sorties PMU en temps réel pour créer la fenêtre d'observation glissante en tant qu'entrée pour l'agent DQN. Contrairement à l'approche SARSA, l'approche proposée utilise des valeurs d'observation continues sans aucune limitation en termes de taille de la fenêtre d'observation glissante. Par conséquent, le temps de traitement est plus faible, ce qui est particulièrement important pour les applications du réseau électrique multi-machines à grande échelle. Les simulations sont effectuées pour un réseau mono-machine connecté à un jeu de barres infini. Dans cette étude, il a été démontré que l'approche proposée permet de détecter efficacement plusieurs cyberattaques et anomalies.