Non-Intrusive Load Monitoring: Event Detection Using Reinforcement Learning

La surveillance de charge non-intrusive (SCNI) est la technique utilisée pour dissocier la consommation d’énergie totale en utilisation d’énergie individuel au niveau des appareils sans avoir besoin de capteurs ou de compteurs supplémentaires. SCNI est essentielle pour la mise en œuvre de certaines techniques de gestion de la demande (GD) dans les réseaux électriques. Les algorithmes SCNI comprennent plusieurs modules et étapes, parmi lesquels l’étape de détection d’événements ayant un impact significatif sur les résultats finaux. Cette thèse propose un nouvel algorithme et une architecture pour la détection d’événements dans les solutions SCNI basées sur des événements afin d’améliorer leurs performances. Les algorithmes de détection d’événements existants, tels que les méthodes probabilistes ou heuristiques expertes, reposent sur des critères d’entrée spécifiques pour identifier les transitions de charge particulières pour lesquelles ils ont été conçus. Cependant, les algorithmes traditionnels de détection d’événements échouent souvent à détecter plusieurs événements de charge dans les profils de charge résidentiels. Pour réduire la dépendance à des conditions spécifiques et améliorer les performances des algorithmes de détection d’événements, nous utilisons l’apprentissage par renforcement (AR) pour former un agent qui apprend et intègre les connaissances des autres algorithmes de détection d’événements avec lesquels il est formé. Grâce à de nombreuses interactions entre l’agent AR et les algorithmes de détection d’événements intégrés dans son système de rétroaction, l’agent AR acquiert les connaissances de toutes les méthodes traditionnelles et améliore leurs performances tout en minimisant les erreurs. En ce qui concerne l’ensemble de données, nous avons choisi l’ensemble de données iAWE du monde réel parmi les ensembles de données SCNI disponibles publiquement. Cet ensemble de données a été collecté dans une maison à New Delhi, en Inde, et comprend des données souscomptées pour plusieurs appareils, ainsi que la consommation d’énergie totale échantillonnée à une fréquence de 1 Hz. Cependant, comme il ne comprend pas d’étiquettes d’événements de charge, un algorithme générateur de profil de charge artificiel est conçu pour générer des profils de charge étiquetés illimités à partir des signatures de charge iAWE pour le processus d’apprentissage par renforcement et l’évaluation. Pour améliorer davantage les performances de l’agent AR, nous introduisons une nouvelle structure de mémoire appelée Double Mémoire de Relecture (DMR), qui joue un rôle crucial dans la capacité de l’agent AR à détecter des événements. Sans la structure DMR, l’agent AR rencontre des problèmes lorsqu’il est confronté à un nombre illimité d’états possibles dans un profil de charge. Pour étudier les performances de la méthode proposée de détection d’événements pour SCNI en utilisant l’agent AR (ARSCNI), nous avons défini quatre groupes de scénarios impliquant différentes combinaisons de signaux d’entrée, de fréquences d’échantillonnage et d’informations externes. L’ensemble de signaux d’entrée comprend toutes les combinaisons de puissance active (P), de puissance réactive (Q) et de courant (I). L’ensemble de fréquences d’échantillonnage contient des fréquences de 1 Hz et 0,2 Hz. L’ensemble d’informations externes indique la présence ou l’absence de scores de performance des algorithmes traditionnels de détection d’événements. La méthode de détection d’événements ARSCNI proposée a surpassé tous les algorithmes intégrés de détection d’événements traditionnels dans tous les différents groupes de scénarios. Étant donné que l’architecture proposée n’impose aucune exigence quant au fonctionnement des algorithmes de détection d’événements existants et améliore leur flexibilité en termes de critères opérationnels, la méthode de détection d’événements ARSCNI peut éliminer de nombreux obstacles à l’utilisation généralisée de ARSCNI dans les réseaux électriques.

Abstract

Non-intrusive load monitoring (NILM) is the technique used to disaggregate total energy consumption into individual appliance-level energy usage without the need for additional sensors or meters. NILM is vital for implementing certain demand-side management (DSM) techniques in power grids. NILM algorithms consist of several modules and steps, among which the event detection step significantly impacts the final results. This thesis proposes a novel algorithm and architecture for event detection in event-based NILM solutions to enhance their performance. Existing event detection algorithms, such as probabilistic or expert heuristic methods, rely on specific input criteria to identify particular load transitions for which they have been designed. However, traditional event detection algorithms often fail to detect several load events in residential load profiles. To reduce dependence on specific conditions and improve the performance of event detection algorithms, we employ reinforcement learning (RL) to train an agent that learns and integrates the knowledge of other event detection algorithms it is trained with. Through numerous interactions between the RL agent and embedded event detection algorithms in its feedback system, the RL agent learns the knowledge of all traditional methods and enhances their performance while minimizing errors. Regarding the dataset, we chose the real-world iAWE dataset from publicly-available NILM datasets. This dataset was collected from a house in New Delhi, India, and includes submetered data for several appliances, as well as total power consumption sampled at a frequency of 1 Hz. However, as it does not include load event labels, an artificial load profile generator algorithm is designed to generate unlimited labeled load profiles from iAWE load signatures for the reinforcement learning training process and evaluation. To further enhance the RL agent’s performance, we introduce a new memory structure called Dual Replay Memory (DRM), which plays a crucial role in the RL agent’s ability to detect events. Without the DRM structure, the RL agent encounters problems when facing an unlimited number of possible states in a load profile. To investigate the performance of the proposed event detection method for NILM using the RL agent (RLNILM), we defined four groups of scenarios involving different combinations of input signals, sampling frequencies, and external information. The input signals set includes all combinations of active power (P), reactive power (Q), and current (I). The sampling frequency set contains frequencies of 1 Hz and 0.2 Hz. The external information set indicates the presence or absence of performance scores from traditional event detection algorithms. The proposed RLNILM event detection method outperformed all embedded traditional event detection algorithms in all different scenario groups. Since the proposed architecture does not impose any requirements on the operation of existing event detection algorithms and enhances their flexibility in terms of operational criteria, the RLNILM event detection method can eliminate many obstacles to the widespread use of NILM in power grids.