Simulation and Reinforcement Learning-based Decision-making for Adaptive Production Management in Complex Manufacturing Systems

Dans cette recherche, des agents d’apprentissage par renforcement (AR) sont formés pour faciliter la prise de décision dans des systèmes de production complexes. Les agents prennent en charge les tâches de répartition et de lancement des commandes, en tenant compte des indicateurs de performance clés du système. Prise de décision des agents les politiques sont formées dans un environnement simulé fourni par la simulation d’événements discrets. Ces agents sont appelés agents de gestion. Inspirés par le concept d’auto-jeu, des agents AR conflictuels et stimulants sont inclus. Les agents en conflit simulent véritables interruptions des ressources système. Ils interrompent les ressources qui devraient affecter de manière significative les performances du système. Les agents difficiles créent une variabilité de la demande. Ils sélectionnent des taux de demande qui défient le système et entraînent le nonrespect des dates d’échéance. Le rôle des agents conflictuels et provocateurs est de défier activement les agents de gestion. Cela pousse les agents de gestion à explorer de nouvelles stratégies pour faire face à l’impact des interruptions et de la variabilité du taux de demande sur les performances du système. L’approche est appliquée à un cas d’utilisation pour un système de fabrication de semi-conducteurs réel. La performance du système, employant des agents de gestion, est d’abord comparée à la répartition et à la libération des commandes basées sur l’heuristique traditionnellement appliquées. La performance est évaluée à l’aide de paramètres comprenant, mais sans s’y limiter, le débit et le pourcentage de déchets. Ensuite, leurs performances sont testées dans deux cas : avec et sans la présence des agents conflictuels. Enfin, les agents de gestion sont testés en présence d’agents à la fois conflictuels et provocateurs. Dans ce cas, le taux de demande varie pour le même travail en cours, créant une variabilité au sein du système. L’application de AR pour la gestion des agents montre des résultats prometteurs par rapport aux heuristiques traditionnellement appliquées. La première comparaison montre une amélioration du débit de production, une réduction du temps total sans valeur ajoutée et une réduction des rebuts. La deuxième comparaison montre une amélioration des politiques apprises des agents de gestion. L’amélioration a été obtenue dans le même temps de formation pour les agents de gestion sans interruption, grâce à la présence d’agents conflictuels. Le dernier test pour les agents, dans lequel des agents conflictuels et provocateurs étaient présents, montre que les agents de gestion gèrent le taux de demande variable sans entraîner de retards excessifs dans l’exécution des ordres de travail. Les agents conflictuels et stimulants ont amélioré les politiques apprises des agents, malgré la variabilité causée par les opérateurs et les demandes variables des clients.