Improving the Energy Efficiency for Signal Processing and Machine Learning Algorithms Using Unreliable Memories

RÉSUMÉ Le traitement du signal et les algorithmes d’apprentissage automatique sont désormais au cœur de notre monde numérique. Leur utilisation s’étend à de nombreux domaines tels que la navigation, les systèmes de communication numérique, ou encore le suivi médical. Cela a conduit à une forte augmentation de la consommation énergétique globale du secteur des technologies de l’information et de la communication. De plus, le nombre d’appareils à faible consommation d’énergie et fonctionnant sur batterie a également considérablement augmenté ces dernières années. Ces appareils nécessitent un haut niveau d’efficacité énergétique pour pouvoir exécuter les algorithmes les plus modernes. Pour répondre à ces problématiques, de nouvelles technologies ont été développées pour concevoir des mémoires plus économes en énergie, étant donné que la mémoire est responsable de la majorité de la consommation d’énergie d’un système électronique. Cependant, certaines de ces mémoires à faible consommation d’énergie ont pour inconvénient d’introduire un manque de fiabilité dans le système. Dans cette thèse, nous étudions comment réduire la consommation d’énergie des algorithmes de traitement du signal et d’apprentissage automatique en utilisant des mémoires peu fiables et efficaces en énergie. Notre objectif est de minimiser l’effet du bruit sur l’algorithme étudié tout en essayant de réduire autant que possible la consommation énergétique de la mémoire. Ainsi, nous développons une méthodologie de réduction d’énergie applicable à différents algorithmes et technologies de mémoire. En utilisant notre modélisation des erreurs, nous effectuons d’abord une analyse théorique de l’effet des erreurs de mémoire sur les calculs. Nous proposons des équations liant la performance de l’algorithme étudié aux paramètres déterminant le niveau d’erreur et la consommation énergétique de la mémoire. Étant donné que ces paramètres contrôlent le compromis entre la consommation d’énergie du système et la performance de l’algorithme, nous formulons et résolvons un problème d’optimisation pour trouver l’ensemble optimal de paramètres qui minimise la consommation d’énergie de la mémoire tout en satisfaisant une contrainte de performance. Nous appliquons d’abord cette méthodologie aux filtres de Kalman quantifiés. Nous considérons l’utilisation d’une mémoire dont la tension d’alimentation peut être réduite, au prix d’une augmentation du taux d’erreur sur les bits. Nous considérons que la quantification et les mémoires non fiables introduisent des erreurs dans les calculs, et nous développons un modèle de propagation des erreurs qui prend en compte ces deux sources d’erreurs.

Abstract

ABSTRACT Signal processing and machine learning algorithms are now at the central stage of our digital world, from navigation to digital communication, or even health monitoring. This has led to a strong increase in the global energy consumption of the Information and Communication Technology sector. The number of low power battery constrained devices has also drastically increased in the recent years. These devices require a high level of energy efficiency to be able to run state-of-the-art algorithms. To answer this need, new technologies have been developed to design more energy efficient memories, given that the memory is responsible for the majority of the energy consumption of an electronic system. However some of these energy-efficient memories come with the trade-off that they introduce unreliability in the system. In this thesis we study how to reduce the energy consumption of signal processing and machine learning algorithms by using unreliable, energy-efficient memories. Our objective is to minimize the effect of noise onto the target algorithm while trying to reduce as much as possible the energy consumption of the memory. In this regards, we develop an energy-reduction methodology applicable to different algorithms and memory technologies. Based on our knowledge of the error model, we first carry out a theoretical analysis of the effect of the memory errors onto the computations. We propose equations linking the performance of the studied algorithm to the parameters directing the error level and energy consumption of the memory. Given that these parameters control the trade-off between energy consumption of the system and performance of the algorithm, we formulate and solve an optimization problem to find the optimal set of parameters that minimize the energy usage of the memory while satisfying a performance constraint. We first apply this methodology to quantized Kalman filters. We consider using a voltage-scaled memory, for which the supply voltage of the memory can be reduced, at the price of an increased Bit-Error-Rate. We consider that both the quantization and the unreliable memories introduce errors in the computations, and we develop an error propagation model that takes into account these two sources of errors. In addition to providing updated Kalman filter equations, the proposed error model accurately predicts the covariance of the estimation error and gives a relation between the performance of the filter and its energy consumption, depending on the noise level in the memories. We then introduce two optimization methods to minimize the memory energy consumption under the desired estimation performance of the filter.