Optimisation des hyperparamètres des réseaux de neurones profonds

Nous assistons depuis quelques années à l'essor de l'apprentissage automatique qui a été propulsé grâce à la croissance constante de la puissance de calcul des ordinateurs et la collecte d'ensembles de données massifs. Les réseaux de neurones en particulier ont tendance à devenir plus profonds, plus complexes et donc nécessitent un effort en amont pour créer des réseaux spécifiquement conçus pour une tâche et un ensemble de données particuliers. Trouver la bonne architecture et la bonne stratégie d'apprentissage est un problème équivalent à une optimisation d'hyperparamètres (HPO) où la fonction objectif est donnée sous forme de boite noire. Cette tâche d'optimisation est complexe et coûteuse mais elle n'en demeure pas moins nécessaire tant le gain en précision peut s'avérer important. Cette thèse propose trois travaux qui visent à fournir une solution au problème énoncé en adaptant l'algorithme de recherche directe MADS. Cette approche d'optimisation sans dérivées est naturellement adaptée pour un tel objectif où chaque évaluation est coûteuse, bruitée et où les dérivées ne sont pas disponibles. Le premier thème décortique le problème HPO pour les réseaux de convolution qui sont spécialisés dans la classification d'images. On y liste les hyperparamètres à considérer et l'espace de recherche qui en résulte, puis exploite tout particulièrement les variables de catégorie pour définir une judicieuse exploration de l'espace. L'approche proposée s'est révélée fructueuse et compétitive contre les méthodes couramment employées dans la pratique et a donné lieu à la création de la librairie HyperNOMAD. Le second projet a permis de valider notre approche sur une application réelle où on cherche à trouver un réseau de neurones de type auto-encodeur, capable de détecter la présence de transmissions incomplètes parmi celles reçues de l'astromobile Curiosity. On propose la variante ∆-MADS qui combine la phase de sonde de MADS à une recherche faisant appel à un autre algorithme d'optimisation sans dérivées ∆-DOGS. Pour ce problème particulier, ∆-MADS a permis de trouver un meilleur réseau que ses deux composantes prises individuellement et que d'autres approches courantes telles que l'optimisation bayésienne ou la recherche aléatoire. Finalement, la troisième contribution vise à intégrer des fonctions substituts spécifiques dans HyperNOMAD pour réduire son temps d'exécution et sa consommation de ressources. Les substituts ajoutés ont en effet accéléré la résolution du problème HPO par un facteur de 4, de diminuer les ressources de calculs employées par un facteur de 3, sans pour autant réduire la qualité des solutions proposées par HyperNOMAD.