Compression of Site-Specific Deep Neural Networks for Massive MIMO Precoding

La migration vers les réseaux sans fil de cinquième génération (5G) et au-delà impose une contrainte énergétique inédite aux stations de base, en particulier pour le précodage à très grand nombre d’antennes (MIMO massif ou mMIMO) dont la charge de calcul croît fortement avec le nombre d’antennes. Cette thèse propose des précodages fondés sur l’apprentissage profond qui maximisent le rendement énergétique tout en conservant une excellente efficacité spectrale. La première partie démontre qu’une compression de modèles spécifiques au site grâce à un entraînement avec quantification en précision mixte combiné à la recherche d’architectures neuronales (NAS) réduit l’énergie de calcul jusqu’à 35 fois par rapport au précodage de référence à erreur quadratique moyenne pondérée (WMMSE) pour un débit identique. Le processus s’appuie sur un modèle de consommation d’énergie calibré au matériel qui intègre les opérations multiplication-accumulation et les accès mémoire sur puce, révélant des compromis de Pareto sur un jeu de canaux simulés par lancer de rayons, incluant des environnements urbains en visée directe et indirecte. La seconde partie introduit BitAdapt, une méthode entièrement dérivable d’apprentissage de la précision qui évite la recherche combinatoire des résolutions de quantification. Chaque couche possède une résolution apprenable couplée à la méthode de quantification apprise LSQ, tandis que le modèled’énergie est intégré directement dans la fonction de coût. L’optimisation conjointe des poids, des pas de quantification et des résolutions place chaque couche au point de compromis optimal entre précision et énergie, générant des configurations en précision mixte adaptées aux conditions de canal propres à chaque cellule. Appliqué à un réseau convolutif léger comme à un réseau plus profond de type Transformer, BitAdapt réduit d’un ordre de grandeur l’énergie d’inférence par rapport à une quantification uniforme sur 8-bit, tout en égalant, voire dépassant, le débit total multi-utilisateur obtenu avec WMMSE. Ces contributions ouvrent la voie à des précodages neuronaux sobres en énergie pour les stations de base mMIMO, conciliant la flexibilité de l’apprentissage profond et les contraintes de puissance strictes des futures infrastructures sans fil.

Abstract

The push toward 5G-and-beyond wireless networks is placing unprecedented pressure on base station energy budgets, particularly for massive Multiple-Input Multiple-Output (mMIMO) precoding, where computational cost scales steeply with antenna count. This thesis addresses that challenge by optimizing deep-learning-based precoders to maximize energy efficiency while maintaining state-of-the-art spectral efficiency. The first part of this work demonstrates that careful site-specific compression of a convolutional precoder combining Mixed-Precision Quantization-Aware training with Neural Architecture Search can cut computational energy by up to 35× relative to a Weighted Minimum Mean-Square Error (WMMSE) baseline at equal sum rate. The search is guided by a hardware-calibrated cost model that accounts for both multiply-accumulate operations and on-chip memory accesses, revealing Pareto-optimal trade-offs over a ray-traced data set spanning both line-of-sight and non-line-of-sight urban deployments. Building on these results, the second part introduces BitAdapt, a fully differentiable precision learning framework that eliminates the need for an outer combinatorial bit-width search. BitAdapt treats each layer’s bit-width as a learnable parameter, couples it with a Learned Step Size Quantization (LSQ) scheme, and embeds the same analytic energy surrogate directly into the training objective. By jointly optimizing network weights, quantizer step sizes, and bit-widths, BitAdapt drives every layer to operate at the knee of its accuracy–energy curve, yielding mixed-precision configurations tailored to each cell’s channel conditions. Applied to both a lightweight convolutional precoder and a deeper Transformer model-based precoder, BitAdapt delivers an order-of-magnitude reduction in inference energy relative to a uniform 8-bit baseline while preserving and in some cases exceeding the sum-rate performance achieved by WMMSE. Taken together, these contributions establish a principled, hardware-aware pathway for deploying ultra-efficient neural precoders in mMIMO base stations, effectively bridging the gap between deep learning’s adaptability and the strict power constraints of next-generation wireless infrastructure.