Optimisation de réseaux de neurones profonds pour déploiement sur matériel incertain à faible consommation d'énergie

Nous sommes en 2024. Après une décennie enfiévrée de progrès en intelligence artificielle avec l’avènement des réseaux de neurones profonds, cette technologie tend à devenir omniprésente dans nos quotidiens. Gourmands en énergie, ces réseaux profonds participent à la croissance soutenue du poids environnemental du secteur informatique. Or, nous sommes dans un contexte dans lequel l’énergie se raréfie. En réponse à cette situation, on assiste au développement d’appareils à très faible consommation d’énergie. En particulier, les transactions mémoires constituent une large proportion de la consommation énergétique d’un système électronique et deviennent un élément critique lors du développement de systèmes numériques. Ainsi des techniques et des technologies novatrices apparaissent pour proposer des mémoires plus économes en énergie, dont certaines proposent d’effectuer un compromis contrôlable entre la fiabilité des éléments stockés et la consommation d’énergie de la mémoire. Dans cette thèse, nous nous intéressons à l’obtention de réseaux de neurones profonds robustes, c’est-à-dire capables de proposer une performance intéressante en fonctionnant sur ces mémoires de fiabilité contrôlée. Par ailleurs, nous cherchons à minimiser conjointement la consommation d’énergie atteinte en exploitant le compromis énergie-fiabilité. Nous nous intéressons en particulier aux mémoires de type SRAM, dont le compromis est contrôlé par la tension d’alimentation, et à la technologie émergente de memristors, permettant un calcul en mémoire analogique au prix d’un bruit sur les éléments stockés. Le compromis y est contrôlé en réduisant artificiellement la plage de programmation de la mémoire. Dans un premier temps, nous proposons un modèle théorique énergie-fiabilité d’une mémoire SRAM en nous basant sur des observations expérimentales. Les bits qui y sont stockés ont une probabilité d’être lus à une valeur incorrecte, probabilité que nous lions à la consommation d’énergie de la mémoire. Par la suite, nous étudions la relation de chaque couche d’un réseau profond avec ce type de panne matérielle et mettons en avant la sensibilité individuelle de chaque couche. De plus, nous montrons l’effet de la simulation de ces pannes lors de l’entraînement du réseau sur les paramètres de ce dernier. Enfin, nous proposons l’algorithme LaNMax pour optimiser conjointement le réseau de neurone et la fiabilité de chaque couche tout en minimisant la consommation d’énergie de la mémoire. Les résultats expérimentaux sur un réseau binarisé démontrent une réduction de la consommation énergétique de la mémoire d’un facteur trois tout en conservant une précision comparable sur la tâche de classification d’images CIFAR-10.