Robust Quantization for Enhanced Energy Efficiency and Bit Error Tolerance in DNNs

RÉSUMÉ Assurer la robustesse des réseaux de neurones profonds (RNP) est crucial pour leur déploiement fiable dans des scénarios incertains, tels que des environnements à faible consommation d’énergie ou non sécurisés, et contre les attaques adverses. Les perturbations de poids dans les réseaux quantifiés peuvent dégrader considérablement les performances, soulignant la nécessité d’améliorer la résilience des RNP dans des scénarios incertains. Ce mémoire présente deux nouvelles approches pour améliorer la robustesse d’un RNP contre les inversions de bits lors de l’inférence. Tout d’abord, nous introduisons un mécanisme d’apprentissage qui minimise la plage de quantification des différentes couches pendant l’apprentissage et établit un équilibre entre robustesse et performance. Notre travail démontre le rôle critique de la plage de quantification dans la robustesse d’un réseau et comment elle peut être ajustée pour équilibrer la performance en l’absence de bruit et la robustesse aux perturbations du modèle. Nous proposons également une méthode probabiliste pour estimer avec précision le gradient du modèle de bruit non dérivable, ce qui aide à entraîner les réseaux de neurones de manière robuste contre les erreurs d’inversion de bits. Nous utilisons l’astuce Gumbel-Max pour échantillonner la distribution de probabilité perturbée et réduire la variance de l’estimation du gradient pour obtenir une meilleure convergence. Nos résultats expérimentaux démontrent que les méthodes de quantification proposées peuvent tolérer un bruit élevé tout en maintenant une précision similaire à un modèle non perturbé pour différentes architectures de réseaux et plusieurs ensembles de données, ce qui peut améliorer la fiabilité et la sécurité des accélérateurs RNP dans des domaines critiques. De plus, notre approche améliore considérablement la robustesse contre les attaques d’inversion de bits adverses. Par rapport aux méthodes d’entraînement robustes existantes, nous améliorons constamment la frontière de Pareto concernant la performance du réseau et sa consommation d’énergie sur une variété de modèles.

Abstract

ABSTRACT Ensuring the robustness of deep neural networks (DNNs) is crucial for their reliable deployment in uncertain scenarios, such as low-power or unsecured environments, and against adversarial attacks. Weight perturbations in quantized networks can significantly degrade performance, underscoring the need to improve DNN resilience in uncertain scenarios. This thesis presents two novel approaches to enhance DNN robustness against bit-flip errors during inference. First, we introduce a learning mechanism that minimizes the quantization range of different layers during training and strikes a balance between robustness and performance. Our work demonstrates the critical role of the quantization range in a network’s robustness and how it can be adjusted to balance performance in noiseless conditions and robustness in uncertain scenarios. Second, we propose a probabilistic method to accurately estimate the gradient of the non-differentiable noise model, which helps to train neural networks robustly against bit-flip errors. We use the Gumbel-Max trick to sample from the perturbed probability distribution and reduce the variance of the gradient estimation to achieve better convergence. Our experimental results demonstrate that the proposed quantization methods can tolerate high noise while maintaining accuracy similar to the baseline on different model architectures and datasets, which can improve the reliability and security of DNN accelerators in critical domains. Moreover, our approach significantly enhances robustness against adversarial bit-flip attacks. Compared to state-of-the-art robust training methods, we consistently improve the Pareto frontier concerning test accuracy and energy consumption across a variety of models.