Statistical Methods for Efficient Digital Electronic Hardware Design

Avec la complexité croissante de nombreuses nouvelles applications qui servent notre société moderne, il est essentiel de concevoir des plates-formes informatiques efficaces. Cependant, la conception de matériel efficace est un problème complexe à objectifs multiples et qui est influencée par de nombreux paramètres. Étant donné le nombre élevé de paramètres et objectifs qui sont impliqués dans ce processus de conception, la synthèse de toutes les combinaisons possibles n’est pas une méthode viable pour trouver la solution optimale. Ainsi, les chercheurs souhaitent trouver des methodes plus efficaces pour modéliser le matériel et effectuer une exploration de l’espace de conception. Cette recherche vise à optimiser le processus de conception matérielle d’algorithmes à calcul intensif utilisant l’intelligence artificielle. Pour atteindre cet objectif, diverses techniques d’intelligence artificielle, telles que l’apprentissage actif, l’apprentissage par renforcement et l’apprentissage automatique statistique, sont envisagées pour résoudre ce problème difficile. Cette thèse propose d’utiliser des algorithmes de recherche méta-heuristiques intelligents tels que l’optimisation Grey Wolf (GWO) en conjonction avec l’optimisation Bayésienne (BO) pour effectuer l’exploration de l’espace de conception matérielle. Nous montrons que nous pouvons réduire davantage l’effort de conception en utilisant un modèle de substitution créé sur la base de notre méthode hybride GWO-BO proposée. Le modèle de substitution est une abstraction utile pour détecter les interdépendances fonctionnelles et physiques dans le système afin de prédire avec précision ses performances (par exemple, le débit ou la latence). Nous évaluons notre méthodologie et montrons qu’elle peut produire des résultats compétitifs pour trouver les meilleurs paramètres de conception qui maximisent les performances du système. De plus, nous proposons une approche d’apprentissage actif basée sur un modèle pour réaliser la modélisation des performances du matériel. Notre méthode proposée utilise des modèles Bayésiens pour caractériser divers aspects des performances matérielles. Nous utilisons également des techniques d’apprentissage par transfert et d’amorçage de régression Gaussienne en conjonction avec un apprentissage actif pour créer des modèles plus précis. Notre méthode de modélisation statistique proposée fournit des modèles matérielles suffisamment précis pour effectuer simultanément l’exploration de l’espace de conception et la prédiction des performances. Nous utilisons notre méthode proposée pour effectuer l’exploration de l’espace de conception et la prédiction des performances pour diverses configurations matérielles, telles que la conception de micro-architecture et les noyaux OpenCL pour les FPGAs. Nos expériences montrent que le nombre d’échantillons nécessaires pour créer des modèles de performance diminue considérablement tout en maintenant le pouvoir prédictif de nos modèles statistiques proposés. Par exemple, la méthode proposée nécessite 65 % d’échantillons en moins pour créer le modèle de prédiction des performances. De plus, Dans le cadre de l’exploration de l’espace de conception, notre méthode proposée peut trouver les meilleurs paramètres de conception en explorant aussi peu que 50 échantillons.

Abstract

With the rising complexity of numerous novel applications that serve our modern society comes the essential need to design efficient computing platforms. Designing efficient hardware is, however, a complex multi-objective problem that deals with multiple parameters and their interactions. Since many parameters and objectives are involved in hardware design, synthesizing all possible combinations is not a feasible method to find the optimal solution. Thus, researchers are interested in finding more intelligent approaches to model the hardware and perform design space exploration. This research aims to optimize the hardware design procedure of compute-intensive algorithms using artificial intelligence. To achieve this goal, various artificial intelligence techniques, such as active learning, reinforcement learning, and statistical machine learning, are envisioned to solve this challenging problem. We propose using intelligent meta-heuristic search algorithms such as GreyWolf Optimization (GWO) in conjunction with Bayesian Optimization (BO) to perform hardware design space exploration. We show that we can further reduce the design effort using a surrogate model created based on our proposed hybrid GWO-BO method. The surrogate model is a useful abstraction to detect functional and physical inter dependencies in the system to predict its performance (e.g. throughput or latency) accurately. We evaluate our methodology and show that it can produce competitive results to find the best design parameters that maximize the system’s performance. Additionally, we propose a model-based active learning approach to accomplish performance modeling of hardware. Our proposed method uses Bayesian models to characterize various aspects of hardware performance. We also use transfer learning and Gaussian regression bootstrapping techniques in conjunction with active learning to create more accurate models. Our proposed statistical modeling method provides hardware models that are sufficiently accurate to perform design space exploration and performance prediction simultaneously. We use our proposed method to perform design space exploration and performance prediction for various hardware setups, such as micro-architecture design and OpenCL kernels for FPGA targets. Our experiments show that the number of samples required to create performance models significantly reduces while maintaining the predictive power of our proposed statistical models. For instance, the proposed method needs 65% fewer samples to create the model in the performance prediction setting. Moreover, our proposed method can find the best design parameter settings in the design space exploration setting by exploring as few as 50 samples.