A Differential Private Approach for Preserving the Privacy in Deep Learning Algorithms

L'apprentissage automatique a le potential de devenir une composante standard de chaque produit technologique et d'être utilisé par tous dans leur vie quotidienne dans un avenirproche. Bien que l'apprentissage machine nous offre de nouvelles capacités magnifiques, il a également des vulnérabilités qui peuvent être facilement exploitées par des attaquants. Il devient de plus en plus nécessaire d'étudier les implications de l'apprentissage automatique sur la sécurité et la vie privée à mesure que l'apprentissage automatique est plus largement utilisé. Les aspects de l'apprentissage automatique liés à la sécurité ont fait l'objet de nombreuses recherches et d'une grande publicité, comme les attaques contradictoires, et les attaques fondées sur la protection de la vie privée ont reçu moins d'attention. Cependant, malgré le fait qu'il y a eu un nombre croissant de travaux dans ce domaine, il n'y a pas eu d'analyse approfondie des attaques liées à la vie privée. Les données d'entraînement et les modèles sont des éléments essentiels des systèmes d'apprentissage automatique. Nous devons protéger la vie privée de ces deux parties afin d'avoir un système d'apprentissage automatique qui soit protégé contre les atteintes à la vie privée. Dans les systèmes d'apprentissage automatique, il y a trois parties vulnérables qui rendent les données et le modèle accessibles. Dans un premier temps, nous avons les données de formation elles-mêmes, puisque les utilisateurs malveillants peuvent accéder aux données de formation pour récupérer des informations sensibles. La deuxième étape est le modèle lui-même, car si l'utilisateur malveillant accède au modèle, il pourra récupérer le modèle et les données de d'entraînement qui sont deux parties sensibles de l'apprentissage automatique. Le dernier élément vulnérable des systèmes d'apprentissage automatique est l'API de prédiction, car si l'attaquant y a accès, il pourrait récupérer le modèle et les données de formation.

Abstract

Machine learning has the potential and ability to become a standard component of every tech product and be used by anyone in their daily lives in the near future. Although machine learning provides us with some splendid new capabilities, it also has vulnerabilities that attackers can easily exploit. It becomes more and more necessary to study the implications of machine learning on security and privacy as machine learning is more widely used. There has been much research and publicity on the security aspects of machine learning, such as adversarial attacks, and less attention has been given to privacy-based attacks, which means having unauthorized access to information. However, despite the fact that there has been a growing body of work in this area, there has not been an extensive analysis of privacy-related attacks. Both training data and models are crucial elements of machine learning systems. We should protect these two parts' privacy from having a machine learning system that is privacy protected. In machine learning systems, there are three vulnerable parts that make the data and the model accessible. In the first step, we have the training data itself since adversarial users can access the training data to retrieve sensitive information. The second step is the model itself. If the adversarial user accesses the model, they will retrieve model and training data, two sensitive parts of the machine learning system. The last vulnerable component of machine learning systems is the prediction API, and if the attackers have direct access to this part of system, they can retrieve the model and training data.