Modèles quadratiques et décomposition parallèle pour l'optimisation sans dérivées

L'optimisation sans dérivées (DFO) et l'optimisation de boites noires (BBO) sont deux disciplines qui traitent des problèmes dont la formulation analytique est inaccessible partiellement ou totalement et qui résultent souvent de simulations informatiques. Les algorithmes DFO et BBO s'appliquent typiquement à des problèmes de petite dimension. Parmi ces méthodes, l'algorithme de recherche directe par treillis adaptatifs (MADS) est une méthode itérative qui se base sur une discrétisation de l'espace et des directions de recherche pour sélectionner et évaluer des points de l'espace. Cette thèse explore deux extensions de MADS qui permettent d'améliorer les résultats de la méthode ainsi que de s'attaquer à des problèmes de plus grande taille. Dans la première extension, MADS utilise des modèles dans l'étape de recherche menant à la création d'une série de sous-problèmes quadratiques avec contraintes quadratiques. Deux méthodes d'optimisation non linéaire classiques sont décrites : la fonction de pénalité exacte en norme `1 et le Lagrangien augmenté. De plus, une nouvelle méthode nommée le Lagrangien augmenté en norme `1 combine les points forts des deux algorithmes précédents. Cette dernière méthode est bien adaptée pour les problèmes quadratiques avec contraintes quadratiques vu qu'elle se base sur un terme de pénalité en norme `1 qui permet de traiter un problème quadratique par morceaux au lieu d'un problème quartique si le Lagrangien augmenté standard est utilisé. La nouvelle méthode du Lagrangien augmenté en norme `1 est décrite pour les problèmes non linéaires avec des contraintes d'égalités. Une analyse conduite sur l'itération interne de l'algorithme prouve que la convergence vers un point stationnaire se fait avec une vitesse surperlinéaire en deux étapes. De plus, l'analyse de l'itération externe de la méthode établit que l'algorithme converge globalement et que le paramètre de pénalité est borné. Dans la seconde extension, l'algorithme de décomposition parallèle de l'espace de la recherche directe par treillis adaptatifs (PSD-MADS), qui est une méthode parallèle asynchrone pour les problèmes de boites noires de grande taille, utilise une stratégie de sélection aléatoire des variables pour la construction des sous-problèmes. Plusieurs stratégies sont proposées pour sélectionner les variables les plus influentes du problème et explorer l'espace des solutions de manière plus efficace. Ces stratégies se basent sur des outils statistiques pour évaluer l'influence des variables sur les différentes sorties et sur la méthode de classification k-mean pour grouper les variables avec plus ou moins le même niveau d'influence. De plus, une méthode hybride qui combine cette nouvelle stratégie avec l'approche aléatoire de sélection de variables est présentée. Les nouvelles méthodes améliorent les résultats de PSD-MADS et les tests numériques sont conduits sur des problèmes de taille allant jusqu'à 4000 variables.

Abstract

Derivative-free optimization (DFO) and blackbox optimization (BBO) are two fields studying problems for which the analytical formulation is partially or completely inaccessible, and which often result from computer simulations. Algorithms in DFO and BBO typically target problems with small dimension. One of these methods is the mesh adaptive direct search algorithm (MADS) which is an iterative method relying on a space discretization and search directions to select and assess new candidates. This thesis explores two extensions of the MADS algorithm that allow to improve its results and take on problems with a larger dimension. In the first extension, MADS uses models in the search step which generates a sequence of quadratic subproblems with quadratic constraints. Two classic nonlinear optimization methods are described: the `1-exact penalty function and the augmented Lagrangian. In addition, a new method, called the `1 augmented Lagrangian, combines the strengths of both previous methods. This new approach is well suited for quadratically constrained quadratic problems (QCQP) since the `1 penalty term allows the method to optimize a piecewise quadratic problem instead of a quartic one when using the standard augmented Lagrangien. The new `1 augmented Lagrangian is described for nonlinear problems with equality constraints. The analysis of the inner iteration of the algorithm proves a superlinear convergence to a stationary point. In addition,the analysis of the outer loop of the method establishes global convergence and shows that the penalty parameter is bounded away from zero. In the second extension, the parallel space decomposition of the mesh adaptive direct search algorithm (PSD-MADS), which is an asynchronous parallel method for large-sized blackbox problems, uses a random selection of variables to build subproblems. Several new strategies are introduced to select the most influential variables and explore the solution space more efficiently. These strategies are based on statistical tools to quantify the influence of variables on the different outputs and use the k-mean clustering method to group variables with the same level of influence together. In addition, a hybrid method combines this new strategy with the random variable selection of the original PSD-MADS. These new methods improve the results of PSD-MADS and are tested on problems with up to 4000 variables.