Operations Research Techniques for Neural Network Compression

Dans de nombreux scénarios exigeant des prévisions basées sur les données, les modèles d’Apprentissage Automatique (ML) atteignent constamment les performances de l’état de l’art. À noter en particulier, les Réseaux des Neurones (NNs), qui ont affirmé leur domination ces dernières années dans des domaines divers tels que la Vision par Ordinateur et le Traitement automatique du Langage Naturel. La précision des prédictions des nouveaux modèles NN s’améliore chaque année, bien que cela s’accompagne d’un compromis en termes de tailles d’architectures plus importantes. Cela se traduit par une augmentation des besoins en stockage mémoire et en puissance de calcul pour la formation et l’exécution des modèles. Le nombre substantiel de paramètres dans les architectures NN récentes a nécessité le développement de techniques de Compression de Modèles (MC). Ces techniques visent à réduire les ressources nécessaires à un modèle tout en préservant son intégrité en matière de performance. Dans ce contexte, l’utilisation de techniques de Recherche Opérationnelle (OR) semble très appropriée. La formulation inhérente du problème de haut niveau consiste à minimiser les ressources requises par le modèle tout en préservant une précision assez proche de la precision du modèle. Cela ouvre naturellement la voie à diverses approches potentielles de OR pour formuler mathématiquement une solution à ce défi. En outre, une grande partie des techniques existantes dans la littérature sur la MC ne propose pas de méthodologies dont la base théorique est suffisamment solide, mais plutôt des méthodologies simplistes qui reposent sur un raisonnement heuristique. Par ailleurs, la compréhension présente dans la littérature des mécanismes sous-jacents responsables de l’efficacité de certaines algorithmes de MC et de leurs principes opérationnels demeure restreinte. L’objectif principal de cette thèse est de formuler et de développer des méthodologies de MC qui exploitent les techniques de Recherche Opérationnelle, qui possèdent des bases théoriques solides, et qui contribuent à découvrir les principes directeurs de ce domaine. Dans un premier temps, nous introduisons le SPR, un nouveau terme de régularisation conçu pour l’élagage des NNs. Nous commençons par présenter une représentation mathématique du problème d’élagage, suivie d’une reformulation plus solide obtenue grâce à la fonction de perspective. Par simplification algébrique, nous dérivons finalement l’expression conclusive du SPR. Ce terme, lorsqu’il est incorporé dans la fonction de perte pendant la formation, facilite l’obtention d’architectures creuses. Nous validons empiriquement l’efficacité de cette technique en l’appliquant à l’élagage de filtres, en utilisant les architectures de convolution les plus courantes et les ensembles de données CIFAR et Imagenet.Ensuite, nous nous tournons vers le domaine de la Quantification. Cette technique a connu une augmentation significative de son adoption par les praticiens ces dernières années, bien que ses principes sous-jacents restent insaisissables. Nous menons une analyse de convergence de l’entraînement de NN concernant les architectures en virgule flottante à faible nombre de bits. Notre enquête conduit à l’établissement de nouvelles limites en matière de dégradation de la perte, qui dépendent directement du nombre de bits utilisés pour représenter les poids du NN et pour effectuer les opérations requises lors de la passe avant et arrière. Enfin, nous validons empiriquement la exactitude de nos résultats en minimisant des fonctions artificiellement perturbées ainsi qu’en entraînant des architectures de NN élémentaires sur l’ensemble de données MNIST. Dans un dernier temps, nous mettons en lumière les avantages de l’élagage dans le domaine de l’Apprentissage par Contraintes (CL). Un aspect novateur de notre travail est la démonstration empirique que l’application de l’élagage structuré à un modèle destiné à être intégré dans un Programme Entier Mixte (MIP) conduit à une réduction exponentielle du temps de résolution nécessaire. En utilisant la technique d’élagage que nous avons établie dans la première section de cette thèse, nous procédons à la compression de NNs à propagation avant puis nous abordons un traitement du problème de recherche d’exemples adversaires. Les résultats de cette application sont sans équivoque, une réduction drastique des temps de résolution est évidente. D’ailleurs, les résultats indiquent clairement que l’élagage ne détériore pas la qualité de la solution dans notre contexte spécifique.