Integrated Real-Time Decision-Making in Smart Urban Freight Logistics: Modular and Adaptive Reinforcement Learning Approach

Cette thèse examine la conception et la mise en œuvre d’architectures d’apprentissage par renforcement (RL) visant à optimiser la prise de décision en temps réel dans les systèmes de logistique urbaine intelligente pour le transport de marchandises. La recherche est motivée par la complexité opérationnelle croissante des réseaux de fret urbain, due à la forte croissance du commerce électronique, à la variabilité dynamique de la demande et à la congestion urbaine persistante, qui mettent en évidence les limites des approches d’optimisation statiques et heuristiques traditionnelles. L’objectif central de cette thèse est de développer des cadres évolutifs et fondés sur les données, permettant une prise de décision adaptative et coordonnée dans des environnements logistiques multi-agents, à l’échelle d’une ville et sous incertitude. À cette fin, quatre nouvelles architectures de RL sont proposées et évaluées au moyen de simulations multi-agents calibrées à partir de données réelles de logistique urbaine. L’étude reconceptualise les opérations de fret comme un processus de décision markovien et propose quatre cadres RL de complexité croissante. Premièrement, un réseau neuronal profond à valeurs (DQN) centralisé traite des problèmes de jumelage discret de cargaisons. Deuxièmement, un modèle hiérarchique acteur-critique coordonne les décisions conjointes de jumelage et d’affectation. Troisièmement, un cadre hiérarchique imbriqué d’apprentissage par renforcement (NHRL) intègre la tarification dynamique avec les opérations de jumelage et d’affectation. Enfin, un système décentralisé d’apprentissage par renforcement multi-agents (MARL) permet une prise de décision autonome au niveau de chaque véhicule, avec des capacités dynamiques de changement de tâches. Toutes les architectures intègrent un raisonnement spatial avancé grâce au système de maillage hexagonal H3 d’Uber, permettant un raisonnement spatial multi-résolution pour une granularité décisionnelle adaptative. Elles utilisent également des algorithmes modulaires de préfiltrage (PAMA, PADA, DEZE, ShipScan) qui transforment des problèmes de recherche combinatoire NP-difficiles en processus traitables en éliminant rapidement les options non réalisables ou à faible valeur. Les cadres sont évalués à l’aide de jeux de données synthétiques représentant les opérations de fret urbain à Montréal et Toronto, couvrant plus de 37 000 interactions véhicule-cargaison. L’évaluation des performances porte sur les récompenses cumulées, l’optimisation des revenus, les taux de réussite de jumelage, le temps d’inactivité des véhicules, le temps d’attente des cargaisons et l’efficacité des distances de prise en charge. L’approche proposée montre des améliorations significatives par rapport aux modèles de référence, notamment jusqu’à 26% d’augmentation des taux de réussite de jumelage, 9% d’amélioration de l’utilisation de la flotte, 70% de réduction du temps d’inactivité des véhicules, 50% de diminution du temps d’attente des expéditeurs et 13% de réduction du kilométrage à vide. Le modèle DQN établit l’efficacité fondamentale du RL à base de valeurs pour les tâches de jumelage discret, tout en démontrant que le maillage H3 et le préfiltrage réduisent considérablement la charge computationnelle. Le cadre HRL développe cette base en coordonnant des agents spécialisés de jumelage et d’affectation via un hub centralisé, ce qui permet d’améliorer les taux de réussite, les récompenses et de réduire le temps d’inactivité, le kilo-métrage à vide et le coût computationnel. L’architecture NHRL va plus loin en intégrant des mécanismes de tarification dynamique avec un raisonnement spatial multi-résolution, augmentant les revenus et les taux de jumelage. Le système MARL représente l’approche la plus avancée, permettant une prise de décision totalement décentralisée et contextuelle au niveau de chaque véhicule, atteignant des taux de jumelage et de consolidation plus élevés. L’analyse comparative des algorithmes de RL (PPO, TRPO, DDPG) valide la supériorité en performance et en robustesse de l’optimisation par politiques proximales (PPO) dans des environnements de fret dynamiques. La thèse se conclut par l’examen des considérations pratiques liées à la mise en œuvre dans des plateformes logistiques commerciales, en soulignant le potentiel transformateur des architectures RL pour moderniser les opérations de fret urbain grâce à des capacités d’optimisation intelligentes, évolutives et en temps réel. La recherche apporte à la fois des cadres théoriques et des méthodologies pratiques pour les systèmes logistiques urbains de nouvelle génération.