A Mathematical Model for Machine Maintenance Based on Stochastic Optimal Control

Le problème du contrôle optimal stochastique implique une prise de décision concernant la maximisation ou la minimisation d’une fonction objective avec des incertitudes. Le choix de la stratégie sera fait par le décideur d’après une fonction objective donnée. Un contrôle stochastique est utilisé ici pour optimiser la fonction objective dans des circonstances aléatoires. Dans ce mémoire de maîtrise, un processus stochastique contrôlé en temps discret est proposé en tant que modèle pour l’état d’une machine. À chaque unité de temps, l’optimiseur doit décider de faire ou de ne pas faire les travaux d’entretien sur la machine. Le but est de porter à son maximum les profits générés par la machine tout le long de sa vie utile. Un moyen puissant pour étudier les problèmes du contrôle stochastique est la programmation dynamique qui a été largement appliquée à la théorie du contrôle stochastique ainsi qu’à une variété d’autres domaines, y compris l’ingénierie et les mathématiques. Dans cette recherche, le modèle proposé est résolu en employant la programmation dynamique et les propriétés de la valeur attendue. L’usure aléatoire d’une machine pendant une unité de temps peut être une variable aléatoire discrète ou continue. Dans le cas continu, l’usure aléatoire de la machine est examinée dans trois cas lorsqu’elle a des distributions exponentielles, gamma ou uniformes. Afin de trouver les variables de contrôle, l’équation intégrale proposée est résolue en utilisant un logiciel mathématique (Maple). Dans le cas où Maple serait incapable de trouver une solution exacte, la série de Neumann est employée comme solution approximative. Dans le but de présenter le modèle, des cas particuliers sont résolus exactement et explicitement. Les mots-clés : le contrôle optimal stochastique, le processus de Markov en temps discret, la fiabilité, la programmation dynamique, le temps de premier passage, l’équation intégrale.

Abstract

A stochastic optimal control problem involves making decisions related to maximizing or minimizing an objective function with uncertainties. The decision-maker chooses a strategy based on the given objective function. Stochastic control is used here to optimize the objective function under random circumstances. In this master’s thesis, a controlled discrete-time stochastic process is proposed as a model for the state of a particular machine. At each time unit, the optimizer must decide whether or not to carry out maintenance work on the machine. The aim is to maximize the profits generated by the machine over its useful lifetime. A powerful tool for studying stochastic control problems is dynamic programming, which has been applied extensively in stochastic control theory and a variety of other fields, including engineering and mathematics. In this research, the proposed model is solved using dynamic programming and properties of expected value. The random wear of the machine during one time unit can be either a discrete or a continuous random variable. In the continuous case, the random wear of the machine is considered in three cases, having exponential, gamma, or uniform distributions. To find the control variables, the proposed integral equation is solved using a mathematical software program (Maple). For cases in which Maple is unable to find the exact solution, the Neumann series is applied as an approximate solution. To outline the model, particular cases are solved exactly and explicitly. Key Words: Stochastic optimal control, discrete-time Markov process, reliability, dynamic programming, first-passage time, integral equation.