Méthodes d'apprentissage fédéré pour la détection d'objets en temps réel dans l'internet des véhicules

L’Internet des véhicules émerge comme une technologie essentielle pour la conduite autonome et les systèmes de transport intelligents, en permettant le traitement de données volumineuses à faible latence dans un vaste réseau interconnecté incluant véhicules, infrastructures, piétons et le nuage. Les véhicules autonomes, qui dépendent largement de modèles d’apprentissage automatique, spécifiquement de réseaux de neurones, peuvent fortement bénéficier des riches données sensorielles générées dynamiquement à la périphérie du réseau pour améliorer leurs performances. L’utilisation de ces données exige toutefois de pouvoir concilier l’entraînement des modèles avec la préservation de la confidentialité des données sensibles des utilisateurs. L’apprentissage fédéré, technique où un ensemble de clients entraînent collectivement un modèle d’apprentissage automatique sans échange de données locales, apparait comme une solution prometteuse pour protéger la vie privée des usagers de la route tout en réduisant le coût des communications dans les réseaux véhiculaires. Néanmoins, en dépit de la popularité croissante de l’apprentissage fédéré, les différents cadriciels y étant consacrés se limitent généralement à la classification d’images. Subséquemment, les tâches plus avancées et critiques pour la conduite autonome, comme la détection d’objets, ont été pour bonne partie ignorées. Dans ce mémoire, nous introduisons FedPylot, un prototype d’apprentissage fédéré simulant l’entraînement de modèles de détection d’objets en temps réel par des véhicules autonomes et connectés reposant sur l’Internet des véhicules. Notre simulateur adopte une architecture client-serveur conçue pour être exécutée sur des systèmes de calcul à haute performance et intègre un chiffrement hybride pour sécuriser les communications entre le serveur et les clients véhiculaires. Nous examinons en particulier l’optimisation fédérée du modèle de l’état de l’art YOLOv7, dans un contexte marqué par l’hétérogénéité statistique, dont dérive conceptuelle, asymétrie dans la distribution des labels et déséquilibre des jeux de données locaux, en incluant toutefois dans nos simulations les hypothèses simplificatrices de persistance, synchronicité et pleine participation des clients. En outre, nous intégrons dans notre évaluation non seulement les performances prédictives de plusieurs variantes de YOLOv7, mais également le coût associé aux communications et la vitesse d’inférence des modèles, et ce, afin de présenter une approche équilibrée des défis auxquels sont confrontés les véhicules autonomes. Nous démontrons des résultats prometteurs pour l’applicabilité de l’apprentissage fédéré dans l’Internet des véhicules, y compris pour réaliser des tâches avancées comme la détection d’objets en temps réel. Nous espérons que FedPylot encouragera de plus amples recherches dans cette direction, et sera enrichi à l’avenir de nouvelles fonctionnalités se rapportant à la sécurité, à la diversité des scénarios envisagés ou encore à l’efficacité des communications.

Abstract

The Internet of Vehicles is emerging as an essential technology for autonomous driving and intelligent transportation systems, by enabling low-latency processing of voluminous data in a vast interconnected network comprising vehicles, infrastructures, pedestrians, and the cloud. Autonomous vehicles, which rely heavily on machine learning models, specifically neural networks, can benefit greatly from the rich sensory data dynamically generated at the network edge to improve their performances. However, the use of such data requires the ability to reconcile model training with preserving the confidentiality of sensitive user data. Federated learning, a technique where a set of clients collectively train a shared machine learning model without exchanging their local data, appears to be a promising solution for protecting the privacy of road users while reducing the cost of communications in vehicular networks. Nevertheless, despite the growing popularity of federated learning, the various frameworks devoted to it are generally limited to image classification. As a result, more advanced tasks critical to autonomous driving, such as object detection, have largely been ignored. In this thesis, we introduce FedPylot, a federated learning prototype simulating the training of real-time object detection models by autonomous and connected vehicles relying on the Internet of Vehicles. Our simulator adopts a client-server architecture designed to run on high-performance computing systems and incorporates hybrid encryption to secure communications between the server and vehicular clients. In particular, we examine the federated optimization of the state-of-the-art YOLOv7 model, in a context marked by statistical heterogeneity, including concept drift, label distribution skews and local dataset imbalance, while including in our simulations the simplifying assumptions of persistence, synchronicity, and full client participation. In addition, we integrate into our evaluation not only the predictive performance of several variants of YOLOv7, but also the costs associated with communications and the speed of model inference, in order to present a balanced approach to the challenges facing autonomous vehicles. We demonstrate promising results for the applicability of federated learning in Internet of Vehicles, including for performing advanced tasks such as real-time object detection. We hope that FedPylot will encourage further research in this direction and will be enriched in the future with new functionalities relating to safety, the diversity of scenarios supported, and communication efficiency.