Mean Field Game-Based Control of Dispersed Energy Storage Devices with Constrained Inputs

Avec plus de production d'énergie renouvelable (éoliennes, panneaux solaires) connectés au réseau électrique, il devient important d'équilibrer la charge et la production alors que la variabilité est un problème pour les ressources renouvelables. On a étudié les dispositifs de stockage d'énergie, en particulier ceux qui sont naturellement présents au réseau électrique (tels que les chauffe-eau électriques, les chauffages électriques, etc. dans les ménages) pourraient devenir des sources potentielles pour atténuer ce problème de variabilité. Afin de minimiser le besoin de communication et les efforts de calcul, un mécanisme de contrôle décentralisé est développé dans cette recherche pour contrôler la trajectoire de champ moyen d'une grande population de chauffages électriques pour suivre (ou atteindre) une cible de température. Le contrôle optimal pour chaque chauffage ou joueur est localement calculé et respecte certaines contraintes. Le problème de contrôle est formulé comme un problème de commande linéaire quadratique (LQ) avec des entrées contraintes dans la théorie du jeu de champ moyen, en anglais, Mean Field Game (MFG). Le mécanisme de contrôle décentralisé est développé à partir de la solution d'équilibre du modèle, cette dernière est obtenue lorsque chaque joueur individuel choisit la meilleure réponse au champ moyen basé sur l'état global de la population. En choisissant les stratégies optimales, tous les joueurs reproduisissent collectivement le champ moyen de la population. En ce sens, la solution d'équilibre est un point fixe du système. Dans une configuration de MFG, les joueurs sont faiblement couplés, ce qui signifie qu'un joueur a une influence négligeable sur le système global tandis que le comportement de la population entière a un effet significatif sur chaque joueur individuel.

Abstract

With the increasing levels of renewable power generation (wind turbines, solar panels) connected to power grids, it is becoming important to balance the load and the generation while variability issue exists for renewable resources. It has been studied that energy storage devices, in particular those naturally present in the power system (such as electric water heaters, electric space heaters, etc. in households), can become potential sources to help mitigate such variability. In order to minimize the communication bandwidth and computation efforts, a decentralized control mechanism is developed in this research to shape the aggregate load profile of a large population of electric space heaters in a power system. Under the control mechanism, the mean-field trajectory (temperature) of the load population is controlled to follow a target temperature, and the control input for each device is generated locally and must respect certain constraint. We formulate the problem as a linear quadratic (LQ) tracking problem with constrained inputs under the mean field game (MFG) settings. The decentralized mechanism is then derived based on the equilibrium solution to the formulated model. The equilibrium solution is obtained when each individual agent of the game chooses a best response to the so-called mass effect of the population via couplings of their individual dynamics and cost functions; when all agents choose the optimal strategies, collectively the mass effect should be replicated. In this sense, the equilibrium solution is a fixed point of the system, and can be mathematically characterized by a mean-field (MF) fixed point equation system. In such MFG setup, agents are weakly coupled, meaning that an agent has a negligible influence on the overall system while the mean-field behavior of the population has a significant effect on any individual agent.