Quantifying Uncertainty in Systems - Two Practical Use Cases Using Machine Learning to Predict and Explain Systems Failures

Afin d'accomplir et automatiser des tâches complexes, différents modèles et composantes peuvent être organisés sous forme d'un système. Par exemple, les chaînes d'approvisionnement sont des systèmes qui permettent de transformer et transporter des matières premières en produits finis. Ces systèmes sont primordiaux lorsque la complexité d'un processus est telle qu'elle ne pourrait être gérée manuellement par un seul humain. Cependant, différentes sources d'incertitude peuvent affecter le comportement d'un système et son résultat. Cela peut mener à ce que l'on désigne comme une défaillance du système, c'est-à-dire lorsqu'un système ne produit pas un résultat désiré. Ce mémoire présente et compare deux projets où l'on utilise l'apprentissage machine afin de prédire les défaillances dans les systèmes, en modélisant ces sources d'incertitude avec une approche holistique. Dans le premier projet, pour lequel nous avons soumis un papier au INFORMS Journal on Applied Analytics, nous cherchons à prédire les défaillances dans les chaines d'approvisionnement. Nous avons développé notre approche à JDA, un fournisseur de logiciels en chaînes d'approvisionnement, et en coopération avec Michelin, un manufacturier international de pneus. Dans le cadre du projet, nous avons défini une défaillance du système comme étant une baisse du niveau de service en dessous d'un seuil désiré. Nous avons modélisé les différents risques présents dans la chaîne d'approvisionnement en fonction de leur habilité à prédire les défaillances quelques semaines à l'avance. Nous démontrons que notre modèle d'apprentissage automatique donne de bons résultats sur un large éventail de produits. Nous soulignons également l'importance de considérer dans l'approche la façon dont les utilisateurs interagissent avec les prédictions. Pour cela, nous avons développé un outil interactif afin que les utilisateurs puissent naviguer à travers les prédictions et obtenir le contexte nécessaire afin de comprendre la source de la défaillance. Cet outil a permis de convertir les prédictions en actions concrètes afin de prévenir et éliminer les défaillances avant qu'elles ne se produisent. Dans nos résultats, nous présentons également comment l'outil a permis d'identifier des causes récurrentes de défaillances dans leur chaîne d'approvisionnement. Dans le cadre du second projet, nous présentons nos résultats préliminaires effectués à Element AI, un fournisseur de logiciels en intelligence artificielle. Le projet consiste à quantifier la confiance associée à chaque prédiction générée par un système d'intelligence artificielle. Le système en question est composé d'une séquence de modèles, incluant deux algorithmes d'apprentissage profond et quelques heuristiques. L'objectif du système est d'extraire automatiquement de l'information contenue sur un document. Dans une approche similaire au premier projet, nous avons identifié les sources principales d'incertitude dans le système, telle de l'incertitude aléatorique et épistémique, pour ensuite les modéliser avec une approche d'apprentissage machine afin de déterminer la confiance du système dans chacune de ses prédictions. L'approche est de ce fait inverse à notre premier projet, puisque nous quantifions la possibilité que le système ne soit pas en état de défaillance. En pratique, cela revient à la même tâche. Nos résultats préliminaires suggèrent que notre approche est prometteuse. Pour nos deux approches, nous prédisons les défaillances d'un système dans le même but, celui d'identifier les situations incertaines où un humain-dans-la-boucle (human-in-the-loop)peut intervenir afin de rectifier le résultat du système et ainsi éviter la défaillance. Cela permet de mettre à profit la créativité et la connaissance de l'humain pour les situations plus délicates, et ainsi augmenter la performance du système. Dans le contexte des chaînes d'approvisionnement, cela peut vouloir dire d'ignorer les paramètres du plan afin de déplacer des items au bon endroit ou encore augmenter manuellement la production. Dans un système d'intelligence artificielle, l'humain peut directement changer la prédiction du système en regardant par lui-même les données, dans notre cas lire le document et extraire lui même l'information. Nous soulignons aussi comment notre approche est générique et peut s'adapter à divers types de systèmes, avec différentes granularités et sources d'incertitude. Nous discutons également comment le modèle utilisé se doit d'être explicable, afin que les utilisateurs puissent identifier et potentiellement éliminer les causes récurrentes de défaillances. Pour terminer, notre approche permet aussi d'augmenter la confiance de l'utilisateur dans le système utilisé ainsi que l'automatisation qu'il permet.