Efficient Look-Up Table Implementation of Neural Networks with Binary Activation Through Layerwise Pruning

RÉSUMÉ Les réseaux de neurones artificiels ont gagné en popularité dans divers domaines. Cependant, en raison de leurs besoins élevés en mémoire et en ressources de traitement, la sélection de plates-formes de traitement appropriées pour leur mise en œuvre est cruciale. En raison de la puissance de traitement et du stockage limités des appareils mobiles et embarqués, des mesures spéciales doivent être prises lors de la mise en œuvre de réseaux de neurones sur ces appareils. Des techniques de compression de modèle telles que la quantification et l’élagage peuvent être utilisées pour réduire les coûts associés à la mise en œuvre. Cette recherche présente un nouvel algorithme qui peut associer un réseau de neurones avec des activations binaires à des LUT, en particulier des LUT de FPGA, avec un impact minimal sur la précision. En intégrant le concept d’élagage à des considérations architecturales, l’algorithme proposé élague le réseau couché par couché jusqu’à ce que le nombre souhaité d’entrées LUT, défini par le concepteur, soit atteint. Nous introduisons également une nouvelle métrique de défaut d’élagage qui considère l’effet de la suppression d’une connexion sur la précision du modèle. Nos couches binaires co-éqales proposées sont ensuite utilisées pour remplacer les couches par leur version élaguée basée sur la LUT, qui peut ensuite être utilisée pour recycler le modèle et récupérer une partie de sa précision. Pour remplir les entrées manquantes des LUTs générées, nous utilisons une variante de l’algorithme de le plus proches voisins base sur la distance de Hamming. De plus, nous fournissons un script Python capable de générer du code en langage de description matérielle pour chaque LUT, qui peut ensuite être associé à des LUT physiques du FPGA. Les résultats montrent que lorsque le nombre de LUT, le débit et la consommation d’énergie sont pris en compte, un réseau entièrement connecté à quatre couches élagué sur l’ensemble de données MNIST est 7.95× plus petit, 1.66× plus rapide et 5.66× moins énergivore. Que le réseau de base, avec seulement une baisse de précision de 0,47%. Les résultats empiriques suggèrent que l’approche proposée peut permettre la mise en œuvre efficace de réseaux de neurones avec des activations binaires sur des dispositifs FPGA, ce qui est crucial pour diverses applications avec des ressources limitées.