Deep Learning and Reinforcement Learning for Inventory Control

La gestion d'inventaire est l'un des problèmes les plus importants dans la fabrication de produits. Les décisions de commande sont prises par des agents qui observent les demandes, stochastiques, ainsi que les informations locales tels que le niveau d'inventaire afin de prendre des décisions sur les prochaines valeurs de commande. Étant donné que l'inventaire sur place (la quantité disponible de stock en inventaire), les demandes non satisfaites (commandes en attente), et l'existence de commander sont coûteux, le problème d'optimisation est conçu afin de minimiser les coûts. Par conséquent, la fonction objective est de réduire le coût à long terme) dont les composantes sont des inventaires en stock, commandes en attente linéaires (pénalité), et des coûts de commandes fixes. Généralement, des algorithmes de processus de décision markovien, et de la programmation dynamique, ont été utilisés afin de résoudre le problème de contrôle d'inventaire. Ces algorithmes ont quelques désavantages. Ils sont conçus pour un environnement avec des informations disponibles, telles que la capacité de stockage ou elles imposent des limitations sur le nombre d'états. Résultat, les algorithmes du processus de décision markovien, et de la programmation dynamique sont inadéquats pour les situations mentionnées ci hauts, à cause de de la croissance exponentielle de l'espace d'état. En plus, les plus fameuses politique de getsion d'inventaire, telles que politiques standards <s,S> et <R,Q> ne fonctionne que dans les systèmes où les demandes d'entrées obtiennent une distribution statistique connues. Afin de résoudre le problème, un apprentissage par renforcement approximée est développé dans le but d'éviter les défaillances mentionnées ci hauts. Ce projet applique une technique d'apprentissage de machine nommé ‘Deep Q-learning', qui est capable d'apprendre des politiques de contrôle en utilisant directement le ‘end-to-end RL', malgré le nombre énorme d'états. Aussi, le modèle est un ‘Deep Neural Network' (DNN), formé avec une variante de ‘Q-learning', dont l'entrée et la sortie sont l'information locale d'inventaire et la fonction de valeur utilisée pour estimer les récompenses futures, respectivement. Le Deep Q-learning, qui s'appelle ‘Deep Q-Network' (DQN), est l'une des techniques pionnières ‘DRL' qui inclut une approche à base de simulation dans laquelle les approximations d'actions sont menées en utilisant un réseau DNN. Le système prend des décisions sur les valeurs de commande. Étant donnée que la fonction de coût est calculée selon l'ordre ‘O' et le niveau d'inventaire ‘IL', les valeurs desquelles sont affectées par la demande ‘D', la demande d'entrée ainsi que l'ordre et le niveau d'inventaire peuvent être considérés en tant qu'information individuelle d'inventaire. De plus, il y a un délai de mise en œuvre exprimant la latence dans l'envoi des informations et dans la réception des commandes. Le délai de mise en œuvre fournit davantage d'information locale incluant ‘IT' et ‘OO'. Le ‘IT' et ‘OO' sont calculés et suivis durant les périodes de temps différents afin d'explorer plus d'informations sur l'environnement de l'agent d'inventaire. Par ailleurs, la principale information individuelle et la demande correspondante comprennent les états d'agents. Les systèmes ‘PO' sont davantage observés dans les modèles à étapes multiples dont les agents peuvent ne pas être au courant de l'information individuelle des autres agents. Dans le but de créer une approche basée sur le ‘ML' et fournir quelques aperçus dans la manière de résoudre le type d'agent multiple ‘PO' du problème actuel de contrôle d'inventaire, un agent simple est étudié. Cet un agent examine si on peut mettre sur pied une technique ‘ML' basée sur le ‘DL' afin d'aider à trouver une décision de valeur de commande quasi optimale basée sur la demande et information individuelle sur une période à long terme. Afin de le réaliser, dans un premier temps, la différence entre la valeur de commande (action) et la demande comme résultat d'un ‘DNN' est estimée. Ensuite, la commande est mise à jour basée sur la commande à jour et la demande suivante. Enfin, le coût total (récompense cumulative) dans chaque étape de temps est mis à jour. En conséquence, résoudre le problème de valeur de commande d'agent simple suffit pour diminuer le coût total sur le long terme. Le modèle développé est validé à l'aide de différents ratios des coefficients de coût. Aussi, le rendement de la présente méthode est considéré satisfaisant en comparaison avec le ‘RRL' (RL de régression), la politique <R,Q> et le politique <s,S>. Le RL de régression n'est pas capable d'apprendre aussi bien et avec autant de précision que le ‘DQN'. En dernier lieu, des recherches supplémentaires peuvent être menées afin d'observer les réseaux de chaînes d'approvisionnement multi-agents en série partiellement observables.