Contributions to Constrained Mixed-Variable and Hierarchical Blackbox Optimization

Cette thèse considère principalement des problèmes d’optimisation de boîtes noires sous contraintes qui sont mixtes. Les chapitres ultérieurs s’étendent aux problèmes hiérarchiques. La fonction objectif et les contraintes ne sont pas disponibles sous forme analytique et ne sont accessibles que par des évaluations, qui sont généralement des programmes informa-tiques ou des simulations. Ces évaluations peuvent être coûteuses en temps de calcul, ce qui motive le développement de méthodes d’optimisation capables de trouver de bonnes solutions en utilisant le moins d’évaluations possible. Les problèmes étudiés sont mixtes. Le domaine contient des variables de différents types, notamment des variables continues, entières et catégorielles. Les variables catégorielles sont particulièrement difficiles à traiter car elles prennent des valeurs qualitatives (catégories) qui possèdent peu de structure. Certains des problèmes étudiés sont également hiérarchiques. Dans ce contexte, les points ne partagent pas nécessairement les mêmes variables ou bornes. Ces caractéristiques conduisent à des domaines d’optimisation complexes combinant des fonctions boîte noire, des contraintes, différents types de variables et des structures hiérarchiques. Ces problèmes apparaissent dans de nombreuses applications d’actualité, dont l’optimisation d’hyperparamètres en apprentissage automatique, la conception d’aéronefs et la configuration de systèmes d’ingénierie. Malgré leur importance pratique, les problèmes d’optimisation de boîtes noires mixtes et hiérarchiques restent relativement peu développés. En particulier, il existe peu de méthodes automatiques d’optimisation de boîtes noires mixtes disposant de garanties de convergence. De plus, les méthodes capables de gérer des niveaux arbitraires de hiérarchie ou de comparer des points définis sur des variables et des bornes différentes restent largement inexplorées. Cette thèse vise à combler plusieurs de ces lacunes en développant des outils de modélisation et des structures qui permettent de mieux optimiser ces problèmes. La thèse est de type par articles et contient quatre articles qui sont soit acceptés, soit en révision, soit soumis. Chaque article présente une contribution principale de la thèse. La première contribution introduit CatMADS, une généralisation de l’algorithme MADS pour l’optimisation de boîtes noires sous contraintes comportant des variables catégorielles, entières et continues. Les variables catégorielles sont structurées à l’aide de voisinages basés sur des distances. Les voisinages sont utilisés pour développer des mécanismes de sonde pour les variables catégorielles. La méthode étend les garanties de convergence de MADS à l’aide de définitions généralisées de l’optimisation non lisse au contexte mixte. Le manuscrit est actuellement en révision à SIAM Journal on Optimization. La deuxième contribution développe des voisinages catégoriels à partir de substituts des fonctions du problème. Des processus gaussiens sont utilisés pour capturer les similarités entre les variables catégorielles par rapport à la fonction objectif et aux contraintes. Les voisinages sont ensuite construits à partir de notions de dominance, établissant des compromis entre les similarités relatives à l’objectif et aux contraintes. Intégrée dans CatMADS, cette approche mène à une variante qui surpasse les solveurs de l’état de l’art. Le manuscrit correspondant est soumis au Journal of Global Optimization. La troisième contribution traite des domaines hiérarchiques dont les points ne partagent pas nécessairement les mêmes variables ni les mêmes bornes. La distance méta est introduite afin de comparer ces points dans un espace étendu contenant toutes les variables possibles. Une bijection effectue une correspondance un-à-un entre un point du domaine original et un point de l’espace étendu. Cela permet de comparer des points appartenant à des sous-espaces de dimensions et de bornes différentes. La distance méta est publiée dans Neurocomputing. À la suite du travail sur la distance méta, la contribution finale développe un cadre unifié pour les domaines mixtes et hiérarchiques. Ce cadre étend la distance méta et intègre plusieurs concepts de la littérature afin de modéliser un éventail plus large de situations, dont les incompatibilités entre variables. Le cadre est publié dans Structural and Multidisciplinary Optimization.