Smooth and Nonsmooth Large Scale Optimization with Inexact Evaluations

Dans cette thèse, nous étudions deux grandes classes de problèmes d’optimisation rencontrés en apprentissage automatique et en science des données, en nous concentrant sur les situations où certaines informations essentielles du problème ne sont disponibles qu’approximativement. La première classe concerne l’optimisation à grande échelle, et plus particulièrement l’entraînement de modèles d’apprentissage profond, où la fonction objectif s’exprime comme une espérance sur un vaste ensemble de données. Notre première contribution (Chapitre 4) est d’avoir démontré la faisabilité d’entraîner des modèles de langage au moyen de méthodes d’ordre zéro, posant ainsi les bases de l’optimisation à grande échelle sans rétropropagation du gradient, et permettant une réduction significative de la consommation mémoire. L’article correspondant a été publié dans les Proceedings of the 14th International Conference on Pattern Recognition Applications and Methods et est disponible dans [4]. Dans la continuité de ces travaux, notre seconde contribution est KronZO (Chapitre 5), une méthode d’ordre zéro dans laquelle nous apportons des améliorations méthodologiques significatives. L’article correspondant a été soumis dans la revue Springer Nature Computer Science (SNCS) et est disponible dans [6]. Nous en établissons la convergence sous des hypothèses classiques et montrons, à travers des expériences numériques, que KronZO atteint des performances de pointe parmi les méthodes d’ordre zéro, tout en réduisant la consommation de mémoire. La seconde classe de problèmes étudiés relève de l’optimisation non lisse, où la fonction objectif se compose d’un terme lisse et d’un terme de régularisation non-lisse. Une approche courante pour résoudre ce type de problème est la méthode du gradient proximal, qui repose sur le calcul d’opérateurs proximaux. Nous considérons ici le cas où la fonction objectif, son gradient et l’opérateur proximal sont évalués de manière inexacte. Nous introduisons iR2N (Chapitre 6), une méthode quasi-Newton modifiée pour les problèmes régularisés, spécifique-ment conçue pour traiter ces évaluations inexactes. L’article correspondant a été soumis dans le SIAM Journal on Scientific Computing (SISC) et est disponible dans [5]. Nous établissons la convergence de iR2N sous un ensemble d’hypothèses adaptées et développons un cadre général pour construire des opérateurs proximaux inexacts garantissant la convergence théorique de iR2N. L’efficacité de la méthode est évaluée au moyen d’expériences numériques sur divers problèmes et mettent en évidence les gains significatifs liés à l’utilisation d’informations inexactes. L’implémentation de iR2N est disponible publiquement [14], et les opérateurs proximaux inexacts utilisés dans les expériences sont détaillés dans [2, 3].