Robust Quantization for Enhanced Energy Efficiency and Bit Error Tolerance in DNNs

RÉSUMÉ Assurer la robustesse des réseaux de neurones profonds (RNP) est crucial pour leur déploiement fiable dans des scénarios incertains, tels que des environnements à faible consommation d’énergie ou non sécurisés, et contre les attaques adverses. Les perturbations de poids dans les réseaux quantifiés peuvent dégrader considérablement les performances, soulignant la nécessité d’améliorer la résilience des RNP dans des scénarios incertains. Ce mémoire présente deux nouvelles approches pour améliorer la robustesse d’un RNP contre les inversions de bits lors de l’inférence. Tout d’abord, nous introduisons un mécanisme d’apprentissage qui minimise la plage de quantification des différentes couches pendant l’apprentissage et établit un équilibre entre robustesse et performance. Notre travail démontre le rôle critique de la plage de quantification dans la robustesse d’un réseau et comment elle peut être ajustée pour équilibrer la performance en l’absence de bruit et la robustesse aux perturbations du modèle. Nous proposons également une méthode probabiliste pour estimer avec précision le gradient du modèle de bruit non dérivable, ce qui aide à entraîner les réseaux de neurones de manière robuste contre les erreurs d’inversion de bits. Nous utilisons l’astuce Gumbel-Max pour échantillonner la distribution de probabilité perturbée et réduire la variance de l’estimation du gradient pour obtenir une meilleure convergence. Nos résultats expérimentaux démontrent que les méthodes de quantification proposées peuvent tolérer un bruit élevé tout en maintenant une précision similaire à un modèle non perturbé pour différentes architectures de réseaux et plusieurs ensembles de données, ce qui peut améliorer la fiabilité et la sécurité des accélérateurs RNP dans des domaines critiques. De plus, notre approche améliore considérablement la robustesse contre les attaques d’inversion de bits adverses. Par rapport aux méthodes d’entraînement robustes existantes, nous améliorons constamment la frontière de Pareto concernant la performance du réseau et sa consommation d’énergie sur une variété de modèles.