Paramétrisation d'une méthode de production pilotée par la demande avec un algorithme d'apprentissage par renforcement

Avec l'augmentation des exigences clients et une demande plus diversifiée, le domaine industriel fait face à de nouveaux enjeux en termes de production et satisfaction client. Il s'agit d'optimiser les niveaux de stock tout en réduisant les temps de livraison. Néanmoins, les anciennes méthodes de production ne sont plus suffisantes pour répondre à ces nouveaux objectifs. Les industriels cherchent donc à innover et s'intéressent à de nouvelles méthodes basées sur de nouvelles règles de production. Le Demand Driven Material Requirements Planning (ou DDMRP) est un méthode de production pilotée par la demande qui s'inscrit dans cette nouvelle aire d'innovation industrielle. Basée sur des règles simples, elle tend à réduire les niveaux de stock et les temps de livraison en s'appuyant sur la demande réelle. Cependant, cette méthode est encore assez récente. Par conséquent, sa documentation est encore assez limitée. En particulier, sa paramétrisation lui fait défaut : il peut paraître difficile, dans le cas d'une implémentation du DDMRP dans un cas pratique, de paramétrer correctement l'algorithme. Le sujet de cette étude est la paramétrisation de la méthode DDMRP à l'aide d'un algorithme d'apprentissage par renforcement. Ce projet vise à apporter des ajustements dynamiques à des seuils et horizons de détection de pics afin d'assister et améliorer la paramétrisation de la méthode de production. Un agent d'apprentissage par renforcement est implémenté dans un environnement géré en DDMRP. Cet agent vise également à augmenter les performances du DDMRP. Il est notamment question d'optimiser les stocks et améliorer la satisfaction client. L'agent, dérivé et adapté d'un algorithme de Branching Deep Q-Learning, est intégré à une modélisation d'atelier géré en DDMRP. Cet atelier est représenté à l'aide d'une simulation à événements discrets et est repris d'un modèle déjà existant. Le projet est entièrement réalisé avec le langage Python sur l'éditeur de code VS Code. Nous utilisons les librairies classiques de Python, et intégrons en particulier la librairie Keras du module Tensorflow afin de créer l'agent. L'agent développé est testé sur des environnements d'essai avant d'être intégré à la simulation en DDMRP. Il est intégré à un modèle sans agent, qui correspond au modèle de Ptak et Smith. Une fois l'agent intégré et validé, nous effectuons d'abord des expériences en lien avec les paramètres de l'apprentissage par renforcement. Ces expériences nous permettent de construire un agent efficace dans un environnement DDMRP. Ensuite, nous cherchons à identifier les cas métiers dans lesquels l'apprentissage par renforcement est le plus efficace. Cela nous permet de démarquer les profils de demande les plus adaptés à l'utilisation de l'apprentissage par renforcement. Les résultats sont principalement analysés à l'aide des indicateurs de l'apprentissage par renforcement, relatant de la performance de l'agent. Ces indicateurs sont également comparés à ceux du modèle sans agent, qui sert de base à notre étude. Les résultats de simulation ont montré qu'il est possible d'intégrer à un agent à une simulation d'un atelier géré en DDMRP. L'agent est non seulement capable d'apprendre dans un tel environnement, mais il est aussi apte à dépasser les performances d'un modèle sans agent. De plus, les résultats montrent que l'agent construit et étudié dans ce travail est efficace dans des environnements à fréquence de pics faible. Si la fréquence de pics augmente, un atelier avec une charge de travail élevée peut nuire à sa performance.