Optimisation des hyperparamètres des réseaux de neurones profonds

Nous assistons depuis quelques années à l'essor de l'apprentissage automatique qui a été propulsé grâce à la croissance constante de la puissance de calcul des ordinateurs et la collecte d'ensembles de données massifs. Les réseaux de neurones en particulier ont tendance à devenir plus profonds, plus complexes et donc nécessitent un effort en amont pour créer des réseaux spécifiquement conçus pour une tâche et un ensemble de données particuliers. Trouver la bonne architecture et la bonne stratégie d'apprentissage est un problème équivalent à une optimisation d'hyperparamètres (HPO) où la fonction objectif est donnée sous forme de boite noire. Cette tâche d'optimisation est complexe et coûteuse mais elle n'en demeure pas moins nécessaire tant le gain en précision peut s'avérer important. Cette thèse propose trois travaux qui visent à fournir une solution au problème énoncé en adaptant l'algorithme de recherche directe MADS. Cette approche d'optimisation sans dérivées est naturellement adaptée pour un tel objectif où chaque évaluation est coûteuse, bruitée et où les dérivées ne sont pas disponibles. Le premier thème décortique le problème HPO pour les réseaux de convolution qui sont spécialisés dans la classification d'images. On y liste les hyperparamètres à considérer et l'espace de recherche qui en résulte, puis exploite tout particulièrement les variables de catégorie pour définir une judicieuse exploration de l'espace. L'approche proposée s'est révélée fructueuse et compétitive contre les méthodes couramment employées dans la pratique et a donné lieu à la création de la librairie HyperNOMAD. Le second projet a permis de valider notre approche sur une application réelle où on cherche à trouver un réseau de neurones de type auto-encodeur, capable de détecter la présence de transmissions incomplètes parmi celles reçues de l'astromobile Curiosity. On propose la variante ∆-MADS qui combine la phase de sonde de MADS à une recherche faisant appel à un autre algorithme d'optimisation sans dérivées ∆-DOGS. Pour ce problème particulier, ∆-MADS a permis de trouver un meilleur réseau que ses deux composantes prises individuellement et que d'autres approches courantes telles que l'optimisation bayésienne ou la recherche aléatoire. Finalement, la troisième contribution vise à intégrer des fonctions substituts spécifiques dans HyperNOMAD pour réduire son temps d'exécution et sa consommation de ressources. Les substituts ajoutés ont en effet accéléré la résolution du problème HPO par un facteur de 4, de diminuer les ressources de calculs employées par un facteur de 3, sans pour autant réduire la qualité des solutions proposées par HyperNOMAD.

Abstract

In recent years, we have seen the rise of machine learning, which has been propelled by the constant growth in computing power and the collection of massive datasets. Neural networks, in particular, tend to become deeper, more complex, and require an upstream effort to create graphs designed explicitly for a specific task and dataset. Finding the right architecture and the right learning strategy is equivalent to a hyperparameter optimization problem (HPO), where the objective function is given in the form of a blackbox. This optimization task is complex and costly, but it remains necessary as the gain in precision can be significant. This thesis includes three contributions that aim at providing a solution to the stated problem by adapting the MADS direct search algorithm. This derivative-free optimization approach is naturally adapted for such an objective where each evaluation is expensive, noisy, and where the derivatives are not available. The first theme dissects the HPO problem for convolutional networks, which are specialized in image classification tasks, to list the considered hyperparameters and the resulting search space. The presented method exploits categorical variables to define an informed exploration of the space. The proposed approach proved successful and competitive against the methods commonly used in practice and is made available in the form of the HyperNOMAD library. The second project allowed us to validate our approach on a real-life application where the goal is to tune an autoencoder to detect the presence of incomplete transmissions among those received from the rover Curiosity. We propose the variant ∆-MADS that combines the poll phase of MADS with the DFO algorithm ∆-DOGS, plugged into the search step. For this particular problem, ∆-MADS could find a better network than its two components taken individually and than other common approaches such as Bayesian optimization or random search. Finally, the third contribution integrates specific surrogate functions in HyperNOMAD to reduce its execution time and resource consumption. The enhanced version proved up to 4 times faster and 3 times less consuming without harming the quality of the final solutions.