Smart Charging Management of Electric Vehicles Through Optimization and Learning-Based Coordination

Les flottes de véhicules électriques (VE) sont appelées à jouer un rôle central dans la décarbonation des systèmes de transport urbain. Toutefois, l’intégration à grande échelle des VE pose d’importants défis à la stabilité du réseau électrique et aux systèmes de communication, en raison des incertitudes liées au comportement des conducteurs, de l’augmentation de la de-mande de puissance de pointe et de la complexité computationnelle associée à la coordination de millions de sessions de recharge. Les mécanismes de contrôle centralisé deviennent moins pratiques en raison des préoccupations relatives à la confidentialité des données des usagers (profils de consommation, habitudes de déplacement, etc.), et la surcharge de communication qui augmente la latence et fragilise la réactivité du système. D’une part, les propriétaires de VE sont souvent réticents à partager des données personnelles détaillées, et d’autre part, le gestionnaire de réseau de distribution (GRD) n’est pas autorisé à divulguer des informations confidentielles sur la topologie du réseau ou les contraintes internes d’exploitation. Il devient donc nécessaire de développer des cadres de gestion de la recharge des VE qui soient évolutifs, distribués et hiérarchiques, tout en garantissant la protection de la vie privée et en réduisant les charges liées à l’échange d’information. Cette thèse vise à concevoir des stratégies robustes, évolutives et interprétables pour la coordination de la recharge des VE, qui respectent les contraintes du réseau, préservent la satisfaction des utilisateurs et réduisent les coûts d’exploitation. Pour ce faire, elle s’appuie à la fois sur la planification en avance (day-ahead) et sur la prise de décision en temps réel (real-time), afin de proposer des cadres de gestion efficaces et pragmatiques, capables de s’adapter à la variabilité temporelle et comportementale. La première partie de cette thèse est consacrée à une coordination équitable, en temps réel, fondée sur une approche d’apprentissage par renforcement profond multi-agent (MADRL). Dans ce cadre, chaque Agrégateurs de VE (EVA) est modélisé comme un agent d’apprentissage par renforcement utilisant un réseau Double Deep Q-Network (DDQN) combinant des taux d’apprentissage adaptatifs et une mémoire d’expériences priorisée, afin d’accélérer la convergence. Parallèlement, le GRD calcule la puissance maximale autorisée à chaque nœud via une optimisation de flux de puissance en courant alternatif, et la répartit en s’appuyant sur un modèle de compromis entre efficacité et équité de Jain (EJT). Au niveau des stations, un contrôleur intelligent de répartition en temps réel priorise la recharge de VE en fonction de leur facteur d’urgence, lequel combine l’heure de départ, la puissance maximale de charge, la demande énergétique et l’état de santé de la batterie. Des études de cas réalisées sur le réseau transmission IEEE à 118 nœuds montrent que ce cadre permet de réduire la demande de pointe, de diminuer les coûts de recharge, de respecter les limites de tension et d’améliorer significativement l’équité par rapport aux approches de type premier arrivé–premier servi et recharge non contrôlée. Par ailleurs, les résultats indiquent que l’intégration de systèmes photovoltaïques (PV) dans ce cadre permet d’améliorer la flexibilité locale du réseau et de réduire la dépendance énergétique vis-à-vis du réseau principal. La deuxième partie introduit une architecture prédictive fondée sur le regroupement en clusters, visant à améliorer la coordination de la recharge des VE à l’échelle de la planification anticipée et du temps réel. Une méthode novatrice de regroupement spatio-temporel est proposée pour former des aggrégateurs de VE. Contrairement à un regroupement purement géographique, cette méthode prend en compte la fréquence de recharge, le taux d’utilisation et les plages horaires d’usage. Au sein de chaque cluster, un modèle de type Temporal Fusion Transformer (TFT) est utilisé pour prédire les principaux paramètres comportementaux tels que l’heure d’arrivée, l’heure de départ et la demande énergétique, en exploitant les données historiques de transactions, les calendriers et les prévisions météorologiques. Ces prédictions alimentent un cadre d’enchères en deux étapes, qui équilibre les engagements pris lors de la planification day-ahead avec les ajustements en temps réel, tout en respectant les contraintes du marché. La stratégie proposée permet de réduire les coûts quotidiens et la puissance de pointe par rapport à une recharge non contrôlée, tout en minimisant les écarts entre les profils d’énergie planifiés et réels. La troisième partie de la thèse propose un cadre de coordination hiérarchique à trois niveaux, dans lequel le contrôle de la recharge des VE est réparti entre les clusters, les aggrégateurs de VE et le GRD, selon une structure de décomposition basée sur la méthode des multiplicateurs alternés (ADMM). Au niveau des clusters, un nouvel algorithme appelé répartiteur propor-tionnel sensible à l’urgence (UAPA) remplace l’optimisation individuelle par VE par une seule variable décisionnelle agrégée par groupe, ce qui réduit considérablement la complexité computationnelle tout en maintenant une forte concordance avec les méthodes classiques d’optimisation. Au niveau EVA et GRD, un cadre ADMM enrichi par apprentissage au-tomatique (ML-ADMM) utilise des réseaux de neurones profonds pour prédire des conditions initiales (warm-start) des variables primales et duales, réduisant ainsi significativement le nombre d’itérations nécessaires. Le système global démontre sa scalabilité, sa capacité à préserver la confidentialité des données, et son efficacité à respecter les contraintes du réseau, à travers des simulations sur les réseaux électriques IEEE 33 bus et IEEE 118 bus utilisant des données réelles de sessions de recharge. Dans l’ensemble, cette thèse propose des méthodes de coordination évolutives et respectueuses de la vie privée, unifiant la prévision, le contrôle fondé sur l’apprentissage et l’optimisation hiérarchique pour de larges populations de VE. Les cadres proposés s’appliquent aux réseaux publics de recharge, aux dépôts de flottes et aux programmes de réponse à la demande pilotés par les services publics. En réduisant la charge de communication et en améliorant l’équité, la stabilité et l’efficacité computationnelle, ils répondent aux principaux obstacles à une intégration massive des véhicules électriques.

Abstract

Electric vehicle (EV) fleets are planned to play a central role in decarbonizing urban trans-portation systems. However, large-scale integration of EVs presents significant challenges to grid stability and communication systems due to uncertainties in driver behavior, increasing peak demands, and the computational complexity of coordinating millions of charging sessions. Centralized control mechanisms are becoming less practical because of concerns related to user data privacy (consumption profiles, travel habits, etc.), as well as the communication overhead that increases latency and undermines system responsiveness. On the one hand, EV owners are often unwilling to share detailed personal data, and on the other hand, and the Distribution System Operator (DSO) is prohibited from disclosing confidential grid topology or internal operating constraints. As a result, the development of scalable, distributed, and hierarchical EV charging management frameworks that preserve privacy and reduce information exchange overhead becomes necessary. This thesis aims to design robust, scalable, and interpretable strategies for EV charging coordination that respect grid constraints, preserve user satisfaction, and reduce operational costs. It achieves this by considering both Day-Ahead (DA) planning and Real-Time (RT) decision-making to deliver practical and efficient EV charging management frameworks that are responsive to temporal, behavioral, and infrastructural variability. The first part of this thesis focuses on RT, fair, and privacy-preserving EV charging coordination through a Multi-Agent Deep Reinforcement Learning (MADRL) approach. Each EV Aggregator (EVA) is modeled as a Reinforcement Learning (RL) agent in the charging framework and utilizes a Double Deep Q-Network (DDQN) that combines adaptive learning rates and prioritized experience replay to accelerate convergence. Meanwhile, the DSO com-putes the maximum allowable power at each bus through an AC power flow optimization and allocates it using an Efficiency–Jain Fairness Tradeoff (EJT) model. At the station level, an RT Smart Dispatch (RSD) controller prioritizes EVs based on their urgency factor, which consists of time of departure, maximum rate of charge, energy needed, and battery health. Case studies on the IEEE 118-bus transmission system show that this framework reduces peak demand, decreases charging costs, ensures voltage limits, and significantly improves fairness compared to first-come-first-served and uncontrolled charging. Furthermore, the results indicate that integrating photovoltaic (PV) systems within this framework can enhance local grid flexibility and reduce energy dependency on the main grid. The second part introduces a predictive cluster-based architecture that enhances DA and RT EV charging coordination. A novel spatiotemporal clustering method is proposed to form EVAs from public charging ports. Unlike geographic-based grouping, clustering here contains charging frequency, utilization ratio, and time-of-day usage. Within each cluster, a Temporal Fusion Transformer (TFT) model forecasts key behavioral attributes such as arrival time, departure time, and energy demand by leveraging historical transaction data, calendar, and meteorological inputs. These predictions are then utilized as the inputs in a two-stage bidding framework that balances DA commitments with RT corrections under market constraints. The proposed strategy demonstrates daily cost and peak power reduction compared to uncontrolled charging, while also minimizing penalties between DA and RT energy profiles.The third part of the thesis proposes a tri-level hierarchical coordination framework that decomposes EV charging control into clusters, EVAs, and the DSO using an Alternating Direction Method of Multipliers (ADMM)-based structure. At the cluster level, a novel Urgency-Aware Proportional Allocator (UAPA) eliminates the need for per-EV optimization by introducing an aggregated single decision variable per group, which dramatically reduces computational complexity while preserving high alignment with per-EV optimization-based methods. At the EVA and DSO levels, a machine learning-augmented ADMM (ML-ADMM) framework utilizes deep neural networks to predict warm-start values for primal and dual variables, thereby significantly reducing the number of ADMM iterations. The combined system demonstrates scalability, privacy preservation, and grid-constrained coordination across IEEE 33 bus and IEEE 118 bus electrical networks using real EV transaction datasets. Overall, this thesis provides scalable and privacy-preserving coordination methods that unify forecasting, learning-based control, and hierarchical optimization for large EV populations. The proposed frameworks apply to public charging networks, fleet depots, and utility-led demand response programs. By reducing communication overhead and improving fairness, stability, and computational efficiency, they address key barriers to massive EV integration.