New Foundations of Machine Learning for Combinatorial Optimization

De nombreux problèmes de décision à travers la société peuvent se formuler sous la forme de problèmes d'optimisation à variables discrètes. Ces problèmes, comme ceux de la programmation linéaire en nombres entiers, sont généralement N P-dur à résoudre. Dans les dernières décennies, de nombreux travaux de recherche ont été menés pour tenter de résoudre le plus efficacement des problèmes de grande envergure. De nouvelles améliorations restent nécessaires, cependant, à mesure que le domaine progresse, celles-ci deviennent de plus en plus marginales. Il devient également plus difficile de suivre la façon dont les différentes techniques d'optimisation interfèrent les unes avec les autres, comme c'est le cas par exemple dans les solveurs d'optimisation modernes. Dans cette thèse, nous soutenons que l'apprentissage automatique est un candidat prometteur pour remplacer les heuristiques utilisées pas les algorithmes d'optimisation. Les modèles statistiques ont l'avantage de pouvoir s'adapter automatiquement à des problèmes distribués selon une loi de probabilité inconnue (empirique). Plutôt que de remplacer entièrement les algorithmes d'optimisation par des techniques d'apprentissage automatique, nous défendons qu'exploiter les algorithmes d'optimisation existants fournit une structure adaptée à l'apprentissage, ainsi que la possibilité d'exploiter de fortes garanties d'optimalité (losrqu'elles existent). Tout d'abord, nous donnons un exemple d'une manière dont l'apprentissage automatique peut typiquement être utilisé pour résoudre des tâches prédictives. Nous démontrons comment l'apprentissage peut être employé pour mieux modéliser les problèmes d'optimisation sans retravailler l'algorithme d'optimisation. Nous illustrons l'efficacité de la méthodologie en l'appliquant à un problème de tournées de travailleurs de la santé dans le cadre de patients recevant des soins à domicile. Nous entraînons un réseau de neurones récurrent avec les relevés médicaux quotidiens des patients afin d'estimer leur risque d'incident. Ces prédictions fournissent des informations tactiques permettant de hiérarchiser les visites lors du calcul des itinéraires des soignants. Ensuite, nous développons un cadre méthodologique permettant de mieux comprendre les possibilités d'application de l'apprentissage automatique aux problèmes d'optimisation combinatoire. Nous passons en revue la littérature récente et la classons en fonction du degré d'intégration des techniques d'apprentissage et d'optimisation. Nous examinons les différentes méthodes d'apprentissage utilisées, et nous transposons les fondations de la théorie de l'apprentissage statistique à celle de l'apprentissage d'algorithmes d'optimisation. Enfin, en observant les défis d'ingénierie logicielle existants pour mener des recherches sur l'apprentissage automatique à l'intérieur de solveurs d'optimisation combinatoire, nous présentons le développement d'Ecole, une bibliothèque logicielle permettant de surmonter ces obstacles. Notre bibliothèque s'appuie sur les processus de décision de Markov, ainsi que sur la bibliothèque OpenAI Gym, pour fournir des abstractions intuitives et hautement personnalisables. Elle permet de reproduire des travaux de recherche existants avec une accélération significative et une forte réduction de la complexité du code source des utilisateurs.

Abstract

Several decision problems arising in the word involve computing optimal outcomes with regards to discrete choices. These problems, such as mixed integer programming ones, are in general N P-hard to solve. In the last decades, a large body of research has emerged to successfully tackle large-scale optimization problems. New improvements are still needed, but as the field matures, they become harder to establish. It also becomes harder to track how different optimization techniques interfere with one another, as it happens, for instance, in modern optimization solvers. In the present thesis, we argue that machine learning is a promising candidate to complement heuristics in optimization algorithms. Statistical models have the advantage that they can be adapted to a given probability distribution of problem instances in an automated and scalable way. Rather than fully replacing optimization algorithms with machine learning, we argue that leveraging existing optimization algorithms provides useful structure to facilitate learning, as well as the possibility to leverage strong optimality guarantees (when they exist). First, we illustrate one way that machine learning can typically be used for predictive tasks. We show how learning can be practically used to better model optimization problems without reworking the optimization algorithm. We demonstrate the effectiveness of the methodology through an application to an healthcare workers routing problem in the context of home healthcare patients. We train a recurrent neural network on daily medical records of patients to estimate their risk of adverse events. These predictions provide tactical information to prioritize visits when computing care workers routes. Second, we develop a methodological framework to better understand the possible ways of applying machine learning to combinatorial optimization problems. We survey the recent literature and classify it by the level of integration of learning and optimization techniques. We look at the different learning methods used, and transpose key elements of the learning theory to learned optimization algorithms. Finally, motivated by the software engineering challenges to conduct machine learning research inside combinatorial optimization solvers, we present the development of Ecole, a library to overcome these hurdles. Our library builds on Markov decision processes and the OpenAI Gym library to provide intuitive and highly customizable abstractions. It can already be used to reproduce existing research with significant speedup and with reduced complexity in user source code.