Accélération matérielle de convolutions éparses appliquées à la détection 3D

Ce mémoire se concentre sur l’optimisation et l’accélération matérielle des convolutions 3D sur des données éparses. La validation de l’algorithme est réalisée sur le composant de convolution de l’architecture Voxel-RCNN, utilisée pour la détection d’objets en 3D, afin de faciliter son déploiement. L’objectif principal est d’améliorer les performances et l’efficacité de l’implémentation de ce composant en explorant diverses techniques d’optimisation et d’accélération matérielle. Les techniques expérimentales déployées dans cette étude incluent la quantification, la binarisation, et le recours à un module FPGA spécialisé. Ces méthodes ont été appliquées spécifiquement sur le composant de convolution de l’architecture Voxel-RCNN. Des méthodes d’optimisation préliminaires, à savoir la quantification et la binarisation, sont mises en avant. Ces approches ont permis de réaliser des améliorations substantielles. Ce projet aborde également la modélisation logicielle de l’implémentation matérielle, en sous divisant l’espace en cuves auxquelles les voxels sont répartis. Ce processus est analysé, soulignant l’efficacité de la modélisation logicielle. Cette recherche aborde la question de l’accélération matérielle, en exposant en détail l’architecture du module VHDL développé, la gestion des entrées et sorties, ainsi que la mise en place de la machine à état pour le calcul de convolution. Elle se focalise également sur l’utilisation des ressources matérielles par les modules et leurs temps de traitement respectifs. Un point d’attention particulier a été porté sur l’impact de la parallélisation sur le calcul de la convolution, en explorant diverses configurations de modules parallèles. Cet aspect a révélé le potentiel de l’approche parallèle, ainsi que les défis liés à la gestion des accès au bus. En considérant les contraintes matérielles de la carte utilisée, il a été possible d’instancier jusqu’à 35 modules dans le design proposé testé sur le dataset KITTI. L’efficacité de la parallélisation a été confirmée par une diminution significative du temps de calcul à mesure que le nombre de modules de convolution augmentait. Cependant, malgré ces avancées, la compétitivité de cette approche reste limitée par rapport aux solutions optimisées existantes utilisant des GPU.

Abstract

This thesis focuses on the optimization and hardware acceleration of 3D convolution operations within the Voxel-RCNN architecture for LiDAR-based 3D object detection. The key objective is to enhance the architecture’s efficiency and performance by leveraging various optimization techniques and FPGA-based hardware acceleration. Efficient 3D data manipulation is achieved by voxelizing LiDAR data, with the added benefit of harnessing FPGA’s parallel processing capabilities. Experimental methods include quantization, binarization and the use of specialized FPGA modules. Modifications to the Voxel-RCNN architecture are also presented. Initial optimization methods such as quantization and binarization are analyzed This project also focuses on the development of a software model to emulate the hardware implementation. In this model, the 3D space is subdivided into distinct segments, termed ’vats’, to which voxels are allocated. An in-depth analysis of this method underscores the efficacy of such an approach in software modeling. The study then turns to hardware acceleration, involving the development of a specialized VHDL module and the implementation of a state machine for convolution computation. This process considers the use of hardware resources and their processing times. The study explores the potential benefits and challenges of parallelization in convolution computation. The research also probes the possibility of incorporating multiple convolution modules, with the limit being 35 modules per design due to the constraints of the DE-10 board. This design facilitates the processing of the KITTI dataset. The efficient use of available resources is demonstrated through the reduced computation time observed when increasing the number of convolution modules in parallel, independent of the voxel count. The current implementation of our FPGA-based convolution module is not competitive with existing GPU models in terms of overall performance.