Optimisation de réseaux de neurones profonds pour déploiement sur matériel incertain à faible consommation d'énergie

Nous sommes en 2024. Après une décennie enfiévrée de progrès en intelligence artificielle avec l’avènement des réseaux de neurones profonds, cette technologie tend à devenir omniprésente dans nos quotidiens. Gourmands en énergie, ces réseaux profonds participent à la croissance soutenue du poids environnemental du secteur informatique. Or, nous sommes dans un contexte dans lequel l’énergie se raréfie. En réponse à cette situation, on assiste au développement d’appareils à très faible consommation d’énergie. En particulier, les transactions mémoires constituent une large proportion de la consommation énergétique d’un système électronique et deviennent un élément critique lors du développement de systèmes numériques. Ainsi des techniques et des technologies novatrices apparaissent pour proposer des mémoires plus économes en énergie, dont certaines proposent d’effectuer un compromis contrôlable entre la fiabilité des éléments stockés et la consommation d’énergie de la mémoire. Dans cette thèse, nous nous intéressons à l’obtention de réseaux de neurones profonds robustes, c’est-à-dire capables de proposer une performance intéressante en fonctionnant sur ces mémoires de fiabilité contrôlée. Par ailleurs, nous cherchons à minimiser conjointement la consommation d’énergie atteinte en exploitant le compromis énergie-fiabilité. Nous nous intéressons en particulier aux mémoires de type SRAM, dont le compromis est contrôlé par la tension d’alimentation, et à la technologie émergente de memristors, permettant un calcul en mémoire analogique au prix d’un bruit sur les éléments stockés. Le compromis y est contrôlé en réduisant artificiellement la plage de programmation de la mémoire. Dans un premier temps, nous proposons un modèle théorique énergie-fiabilité d’une mémoire SRAM en nous basant sur des observations expérimentales. Les bits qui y sont stockés ont une probabilité d’être lus à une valeur incorrecte, probabilité que nous lions à la consommation d’énergie de la mémoire. Par la suite, nous étudions la relation de chaque couche d’un réseau profond avec ce type de panne matérielle et mettons en avant la sensibilité individuelle de chaque couche. De plus, nous montrons l’effet de la simulation de ces pannes lors de l’entraînement du réseau sur les paramètres de ce dernier. Enfin, nous proposons l’algorithme LaNMax pour optimiser conjointement le réseau de neurone et la fiabilité de chaque couche tout en minimisant la consommation d’énergie de la mémoire. Les résultats expérimentaux sur un réseau binarisé démontrent une réduction de la consommation énergétique de la mémoire d’un facteur trois tout en conservant une précision comparable sur la tâche de classification d’images CIFAR-10.

Abstract

The year is 2024. Following a decade of buzzing developments in artificial intelligence with the emergence of deep neural networks, this technology usage is gradually becoming ubiquitous. Voracious energy consumers, these deep networks actively participate in the yearly growth of the IT sector’s environmental impact. However, the global demand for energy tends to exceed the available capacity. This precarious situation is spurring the development of lowenergy devices. Notably, memory transactions constitute a significant part of the energy consumption of an electronic system. Nonetheless, emerging memory technologies aiming to alleviate this issue were proposed. Moreover, some of these innovative memories allow us to trade the reliability of the stored elements to reduce memory energy consumption. In this thesis, we study approaches to achieve robust deep neural networks that can deliver a compelling performance while operating on this memory with controlled reliability. Furthermore, we aim to jointly minimize the energy consumption of a deep neural network by capitalizing on this energy-reliability trade-off. Notably, we study the use of a voltage-scaled SRAM operating in the near-threshold regime on the one hand, and on the other hand, the emerging technology of memristors crossbars allowing low power processing in memory in the analog domain at the cost of hardware noise on the stored elements. For these memristors crossbar, the energy-reliability trade-off is controlled by artificially reducing the valid programmable range of the memory. We first study an energy-reliability model for a voltage-scaled SRAM based on experimental data to do so. Bits stored on this memory may be read incorrectly, with a probability linked to the energy consumption of the memory. Later, we study the relation of a deep neural network’s layers with this type of hardware fault, highlighting each layer’s distinct sensitivity. Moreover, we assert the effect of simulating these failures during the training phase of the neural network and the impact on the final parameters. Finally, we propose the algorithm LaNMax to jointly optimize the neural network and the reliability of each of its layers while minimizing the energy allocated to the memory. Experimental results from a binary neural network show a threefold reduction in energy consumption while retaining a comparable accuracy on the image classification task CIFAR-10.