On Intelligent and Adaptive Control of Thermal Loads in Buildings under Demand Response Programs

Un tiers de l’énergie mondiale est utilisé dans les bâtiments. Les systèmes de chauffage et de climatisation consomment la moitié de cette énergie et représentent 15% des émissions mondiales de CO2. Face aux changements climatiques, l’augmentation des capacités de production d’énergie ne doit pas être la seule réponse, mais doit être accompagnée de mesures de sobriété énergétique. Cependant, la fréquence croissante des phénomènes climatiques extrêmes augmente notre dépendance envers des systèmes de chauffage et de climatisation énergivores. Dans ce contexte, les programmes de réponse à la demande ont un rôle clé dans la gestion des réseaux car ils encouragent les consommateurs à utiliser l’énergie en dehors des heures de pointes, grâce à des incitatifs financiers. Aligner l’utilisation des systèmes de chauffage et de climatisation avec les programmes de réponse à la demande peut bénéficier à la fois aux gestionnaires de réseau et aux consommateurs. Cependant, pour participer efficacement à ces programmes, les bâtiments doivent être équipés de contrôleurs intelligents, capables de modifier proactivement la consommation en énergie tout en maintenant le confort des usagers. De tels contrôleurs sont coûteux car ils sont produits sur mesure pour chaque bâtiment. Cela limite leur utilisation à grande échelle ainsi que l’impact potentiel des programmes de réponse à la demande. L’objectif principal de cette thèse est de développer des algorithmes de contrôle de la température facilement adaptables à différents bâtiments. Pour cela une architecture de contrôle à trois couches est considérée. Au plus au niveau, le coordinateur distribue la puissance disponible dans le bâtiment à chaque zone. Dans chaque zone, selon son budget en énergie, un contrôleur adapte le point de consigne de température pour maximiser le confort des usagers. Au plus bas niveau, dans chaque zone, un contrôleur est chargé de suivre efficacement le point de consigne choisi. L’idée centrale est d’utiliser une approche "décomposer pour mieux régner", et de diviser le bâtiment en zones pour résoudre plusieurs sous-problèmes plus simple. Les différentes parties de l’architecture de contrôle sont étudiées dans trois travaux indépendants, pouvant être combinées pour obtenir un système intelligent et adaptatif de contrôle des charges thermiques dans les bâtiments. La première partie de cette thèse se concentre sur la couche la plus basse de contrôle. Pour accroître l’adaptabilité des contrôleurs intelligents, il est montré qu’un agent entraîné avec de l’apprentissage par renforcement peut apprendre à contrôler la puissance de chauffage ou de climatisation afin de maintenir une température fixe dans une zone, sans entraînement spécifique à la zone. Le problème est formulé comme un problème d’apprentissage multi-tâches ou une tâche correspond à une architecture de zone, qui est observable pour l’agent. L’agent est testé sur différentes zones jamais rencontrées pendant l’entraînement. Les résultats montrent des performances de contrôle équivalentes à celles d’un agent entraîné spécifiquement sur la zone, ou aux performance d’un modèle de commande prédictive conçu spécifiquement pour la zone. Dans la seconde partie, les deux couches supérieures de l’architecture de contrôle sont développées. Un algorithme d’optimisation distribuée basé sur l’algorithme des directions alternées, appelé Réseaux de Planifications Profonds, est mis au point. L’algorithme sert à imposer une limite sur la puissance utilisée pour le chauffage et la climatisation. Un agrégateur distribue le budget total de puissance à des contrôleurs locaux, chargés d’adapter les points de consigne de température des zones pour maximiser le confort. Le problème est formulé de manière non convexe pour permettre l’utilisation de modèles non linéaire d’apprentissage profond dans chaque zone. L’approche distribuée permet d’utiliser l’algorithme dans des bâtiments de différentes tailles. Les modèles des contrôleurs locaux sont basées uniquement sur des données de mesurage, ce qui limite le travail de modélisation et améliore l’adaptabilité de l’approche. Des tests réalisés sur un bâtiment de 18 zones montrent que l’algorithme peut imposer une contrainte de puissance maximum tout en répartissant l’économie d’énergie sur chaque zone. La troisième partie se concentre sur la couche de contrôle chargée d’adapter dynamiquement les consignes de température dans les zones. Alors que dans la deuxième partie, des modèles en temps discret sont utilisés pour la planification des points de consigne, cette partie propose l’utilisation de modèles en temps continu basés sur des équations différentielles neuronales. De nouveaux modèles en temps continu sont développés pour améliorer l’efficacité d’échantillonage, l’interprétabilité, et la robustesse aux observations manquantes ou irrégulières. Un algorithme de contrôle est également proposé pour le cas des bâtiments à une seule zone, qui ne nécessite pas de coordinateur. Les modèles de prédiction sont utilisés pour planifier la température du bâtiment afin de maximiser le confort, tout en respectant une contrainte sur la puissance maximum utilisée. Les modèles en temps continu sont comparés en profondeur avec leur contrepartie en temps discret, sur des tâches de prédiction et de contrôle basées sur des données réelles et simulées. Les résultats démontrent que les deux types de modèles ont un niveau de performance comparable pour le contrôle, mais les modèles en temps continu nécessitent moins de données pour être entraînés.

Abstract

Buildings account for one-third of global energy consumption, half of which powers heating and air conditioning systems. These systems cause 15% of the CO2 emissions worldwide. However, the increasing frequency of extreme weather events augments our reliability on energy-intensive heating and cooling systems. The response to climate change cannot be limited to an increase in energy production capacity; it must also include measures for energy conservation. In this context, demand response programs play a key role in the grid operation by encouraging buildings’ occupants to shift energy usage out of peak times through financial advantages. Aligning the operation of heating and cooling systems with demand response programs can benefit both grid operators and buildings’ occupants. However, to effectively participate in these programs, buildings must be equipped with intelligent controllers capable of proactively modifying the buildings’ energy consumption while maintaining occupants’ comfort. Such intelligent controllers are expensive because they are custom-designed for each building, limiting their widespread use and therefore their impact on the grid. The main objective of this thesis is to develop adaptive algorithms for temperature control in buildings, to enhance participation in demand response programs. A three-layer hierarchical control architecture is investigated. At the top layer, an aggregator distributes the building’s total energy budget to each zone. At the middle layer, in each zone, a temperature setpoint controller adapts the temperature setpoint to maximize the user’s comfort while respecting its energy budget. At the bottom layer, a controller efficiently tracks the zone’s setpoint. The central idea of this approach is to use a "divide and conquer" method to split the building into zones to solve multiple easier subproblems. The different layers of this architecture are studied in three standalone frameworks that can be combined to provide an intelligent and adaptive thermal load control system. The first part of this thesis focuses on a bottom layer in which a controller tracks a zone’s temperature setpoint. To increase the adaptivity of intelligent controllers, we propose to train an agent using reinforcement learning to control the heating and cooling. The agent must track a fixed temperature setpoint in a wide variety of rooms without any room-specific training. The problem is formulated as a multi-task problem where each zone corresponds to a task and the architectures of the zones are observable. The agent is tested in different zones unknown a priori. The results show control performances equal to those of an agent trained specifically on a zone, or to the performances of a model predictive control algorithm tailored for the task.