On Personalization of Federated Learning

Le monde est arrivé à un point où la technologie a non seulement connu une croissance exponentielle, mais où elle rivalise et surpasse son créateur, l’être humain. Cela a rendu la vie beaucoup plus facile pour toutes sortes d’êtres vivants à bien des égards. En se développant, la technologie est également devenue accessible à tout le monde sous la forme d’appareils intelligents, de voitures connectées, etc.. L’évolution de l’apprentissage automatique et de l’intelligence artificielle a permis aux robots de prendre en charge des tâches pénibles et dangereuses habituellement effectuées par l’homme. L’apprentissage automatique, tel que nous le connaissons aujourd’hui, utilise les informations disponibles pour apprendre et utilise ces connaissances acquises pour prédire le résultat d’un scénario qui, la plupart du temps, est inconnu auparavant. Les données utilisées pour cet apprentissage sont un facteur essentiel qui détermine la qualité des connaissances acquises et par conséquent des performances du modèle construit. Il est donc important que les données d’apprentissage soient significatives. Tout le monde souhaite que son smartphone comprenne ses propres besoins et exigences, mais personne ne veut partager ses secrets. Il faut donc trouver une solution qui permette d’apprendre à partir des données sans laisser des tiers y accéder. L’apprentissage fédéré (FL) a pris forme pour résoudre ce défaut de sécurité associé des techniques classiques d’apprentissage automatique. FL est une méthode d’apprentissage automatique distribuée dans laquelle les données restent réparties entre les clients. Au lieu de centraliser les données, FL apprend des modèles individuels, à partir des clients du réseau, et agrège ces modèles au niveau du serveur. De cette manière, les connaissances acquises par tous les clients participants sont accessibles les uns aux autres sans partager les données. La plupart des algorithmes d’apprentissage fédéré comme FedAVG agrègent les modèles des clients pour obtenir un modèle global. Cependant, cela conduit à une perte d’information, en particulier lorsque la distribution des données est très hétérogène entre les clients. La motivation de ce projet est une expérience simple qui prouve que les modèles globaux spécifiques aux données (où les clients sont regroupés en fonction de leur distribution de données) produisent une meilleure précision que FedAVG. Cela suggère une amélioration potentielle des performances si les clients formés sur des données similaires ont une plus grande importance dans l’agrégation des modèles. Nous utilisons des représentations de données provenant d’extracteurs de modèles de clients pour quantifier la similarité des données. Nous proposons d’utiliser une agrégation pondérée de modèles clients où le poids est calculé en fonction de la similarité des données des clients. Comme FedBABU, l’agrégation proposée basée sur la similarité de la représentation du client est appliquée uniquement sur les extracteurs. Nous montrons empiriquement que la méthode proposée améliore les performances du modèle global dans les distributions de données hétérogènes.