On Personalization of Federated Learning

Le monde est arrivé à un point où la technologie a non seulement connu une croissance exponentielle, mais où elle rivalise et surpasse son créateur, l’être humain. Cela a rendu la vie beaucoup plus facile pour toutes sortes d’êtres vivants à bien des égards. En se développant, la technologie est également devenue accessible à tout le monde sous la forme d’appareils intelligents, de voitures connectées, etc.. L’évolution de l’apprentissage automatique et de l’intelligence artificielle a permis aux robots de prendre en charge des tâches pénibles et dangereuses habituellement effectuées par l’homme. L’apprentissage automatique, tel que nous le connaissons aujourd’hui, utilise les informations disponibles pour apprendre et utilise ces connaissances acquises pour prédire le résultat d’un scénario qui, la plupart du temps, est inconnu auparavant. Les données utilisées pour cet apprentissage sont un facteur essentiel qui détermine la qualité des connaissances acquises et par conséquent des performances du modèle construit. Il est donc important que les données d’apprentissage soient significatives. Tout le monde souhaite que son smartphone comprenne ses propres besoins et exigences, mais personne ne veut partager ses secrets. Il faut donc trouver une solution qui permette d’apprendre à partir des données sans laisser des tiers y accéder. L’apprentissage fédéré (FL) a pris forme pour résoudre ce défaut de sécurité associé des techniques classiques d’apprentissage automatique. FL est une méthode d’apprentissage automatique distribuée dans laquelle les données restent réparties entre les clients. Au lieu de centraliser les données, FL apprend des modèles individuels, à partir des clients du réseau, et agrège ces modèles au niveau du serveur. De cette manière, les connaissances acquises par tous les clients participants sont accessibles les uns aux autres sans partager les données. La plupart des algorithmes d’apprentissage fédéré comme FedAVG agrègent les modèles des clients pour obtenir un modèle global. Cependant, cela conduit à une perte d’information, en particulier lorsque la distribution des données est très hétérogène entre les clients. La motivation de ce projet est une expérience simple qui prouve que les modèles globaux spécifiques aux données (où les clients sont regroupés en fonction de leur distribution de données) produisent une meilleure précision que FedAVG. Cela suggère une amélioration potentielle des performances si les clients formés sur des données similaires ont une plus grande importance dans l’agrégation des modèles. Nous utilisons des représentations de données provenant d’extracteurs de modèles de clients pour quantifier la similarité des données. Nous proposons d’utiliser une agrégation pondérée de modèles clients où le poids est calculé en fonction de la similarité des données des clients. Comme FedBABU, l’agrégation proposée basée sur la similarité de la représentation du client est appliquée uniquement sur les extracteurs. Nous montrons empiriquement que la méthode proposée améliore les performances du modèle global dans les distributions de données hétérogènes.

Abstract

The world has come to a point where technology has not only grown exponentially but also is competing and excelling over its creator, human beings. This has made life a lot easier for all sorts of living beings in many ways. As technology grew, it also became accessible to the common man in the form of smart devices, connected cars, and henceforth. The evolution of machine learning (ML) and artificial intelligence (AI) has made it possible for robots to take over dangerous and strenuous tasks classically done by human effort. ML, as we know it today, makes use of available information to learn and uses that knowledge to predict the outcome of a scenario that, most of the time, is previously unknown. The data used for this learning is a pivotal factor that decides the quality of knowledge acquired, and hence, the performance of the learned model. Hence, it is important for the training data to be meaningful. Everyone wishes their smartphone understands their personal needs and requirements, but nobody wants to share their secrets. This calls for a solution that learns from data without letting third parties access it. Federated learning (FL) took shape to solve this particular security flaw of classic ML techniques. FL is a distributed ML method wherein the data distributed across clients stays there. Instead of centralizing data, FL learns individual models from the clients in the network and aggregates the models at the server. In this manner, the knowledge learned from all participating clients is made accessible to each other without sharing the data. Most federated learning algorithms like FederatedAveraging (FedAVG) aggregate client models to obtain a global model. However, this leads to a loss of information, especially when the data distribution is highly heterogeneous across clients. The motivation for this project is a simple experiment that proves that data-specific global models (where the clients are grouped based on their data distribution) produce higher accuracy over FedAVG. This suggests a potential performance improvement if clients trained on similar data have a higher importance in model aggregation. We use data representations from extractors of client models to quantify data similarity. We propose using a weighted aggregation of client models where the weight is calculated based on the similarity of client data. Like FedBABU, the proposed client representation similarity-based aggregation is applied only on extractors. We empirically show that the proposed method enhances global model performance in heterogeneous data distributions.