Problèmes de contrôle optimal stochastique avec applications à la théorie des files d'attente et à la fiabilité

La thèse s’articule autour de plusieurs axes thématiques complémentaires, présentés ci-dessous. Contrôle optimal d’un système de files d’attente Dans le modèle classique de files d’attente M/M/k, le système est décrit de telle manière que, selon un processus de Poisson de taux λ, les clients arrivent dans le système et sont servis par l’un des k serveurs disponibles. Les temps de service fournis par chaque serveur sont distribués exponentiellement avec le paramètre µ. Ces temps de service sont indépendants et ne dépendent pas des temps interarrivées des clients. Le système fonctionne selon une discipline de service FIFO (premier entré, premier sorti) et a une capacité totale cp, qui peut être infinie. Des stratégies de commande optimale pour les systèmes de files d’attente ont été explorées dans de nombreux articles, souvent sous l’hypothèse que les paramètres de service peuvent être ajustés par le contrôleur, par exemple, en modifiant le nombre de serveurs actifs ou le taux de service. Certains auteurs ont également envisagé la possibilité de contrôler les paramètres d’arrivée. L’optimisation de ces paramètres varie, incluant des stratégies conçues pour servir différents types de clients et minimiser les coûts totaux sur un horizon temporel fini ou infini, sur la base de critères de coût. Dans cette recherche, un modèle de file d’attente M/M/k modifié est considéré, dans lequel le nombre de serveurs actifs peut être contrôlé dynamiquement dans le système à tout moment. Supposons qu’à un moment donné, k + l clients attendent un service dans le système. Afin de réduire ce nombre de clients à k + r, où 0 ≤ r < l, il s’agit de déterminer le nombre optimal de serveurs à déployer le plus rapidement possible, tout en tenant compte des coûts de contrôle associés. La fonction de valeur qui satisfait l’équation de programmation dynamique est dérivée dans le cas général, et des solutions sont proposées pour des cas particuliers du problème. Distribution optimale des temps de service dans une file d’attente M/G/1 Un système de files d’attente M/G/1 est considéré dans lequel le serveur a la flexibilité de choisir entre deux distributions de temps de service distinctes. L’objectif est de déterminer le choix qui minimise la valeur espérée d’un critère de coût, qui prend en compte à la fois le coût d’exploitation à un taux de service plus élevé et le temps nécessaire pour vider la file d’attente. Le temps final aléatoire est défini comme le premier instant où aucun client ne reste en ligne en attente de service. La programmation dynamique peut être appliquée pour obtenir la solution optimale lorsque les temps de service suivent une distribution exponentielle. Dans le cas plus général, la probabilité conditionnelle est utilisée pour analyser le comportement du système. En outre, des solutions explicites sont fournies pour des cas particuliers dans lesquels la capacité du système est finie. Pour déterminer les distributions optimales du temps de service d’un serveur unique actif opérant en continu sur un intervalle de temps aléatoire, une méthodologie novatrice est pro-posée dans ce travail. Ce travail apporte une solution à un problème non résolu concernant la prédiction de la vitesse de service optimale des modules actifs à un instant donné, permettant ainsi un contrôle efficace du système dans un cadre temporel aléatoire continu. L’accent est mis sur un cadre où un serveur peut fonctionner à deux vitesses distinctes, et la question centrale est de déterminer quelle vitesse est optimale selon les conditions. La méthodologie proposée intègre la programmation dynamique avec un conditionnement sur les taux d’arrivée et de service, garantissant une approche structurée pour optimiser la dynamique de service. Le modèle de file d’attente est formulé sur la base d’un système d’équations différentielles qui analyse le comportement du système dans ce cadre. Une formulation modifiée de commande optimale est appliquée afin de minimiser la valeur espérée de la fonction de coût et de déterminer la distribution optimale du temps de service à un instant donné. La méthodologie proposée peut être adaptée à diverses applications réelles, lesquelles sont abordées ici comme des cas particuliers avec capacité finie du système. Elle peut aussi être utilisée pour déterminer la politique optimale en fonction des préférences du système, telles que les contraintes de capacité et le nombre initial de clients au moment de la planification. Les résultats sont illustrés graphiquement afin de montrer l’impact significatif de la solution proposée sur l’optimisation des performances du système pendant les périodes analysées. Comparée à d’autres travaux, la méthodologie actuelle se distingue par sa capacité à contrôler le processus via une programmation dynamique et une modélisation conditionnelle sur un horizon temporel indéterminé. Cela apporte un niveau supérieur de sophistication aux modèles de commande optimale, en abordant des aspects encore inexplorés. La validation des modèles proposés montre leur aptitude à déterminer efficacement les politiques de commande optimales et à assurer la stabilité du système selon ses paramètres. Les résultats démontrent que la programmation dynamique et la modélisation conditionnelle constituent un cadre systématique pour optimiser les coûts totaux dans des conditions opérationnelles variables. Politique optimale d’inspection et de maintenance : Intégration d’une chaîne de Markov en temps continu L’état d’une machine est modélisé comme une chaîne de Markov à temps continu contrôlée, où les temps de service sont aléatoires. En intégrant les coûts de maintenance, l’objectif est de maximiser le temps de fonctionnement avant qu’une réparation soit nécessaire. Cette recherche dérive l’équation de programmation dynamique associée à la fonction de valeur, permettant une prise de décision optimale concernant les taux d’inspection. Cette méthodologie résout explicitement des problèmes visant à minimiser à la fois les coûts directs de maintenance et les dépenses liées aux défaillances, offrant ainsi un cadre robuste pour identifier des fréquences d’inspection optimales dans un contexte de maintenance centrée sur la fiabilité. Le développement d’une politique optimale d’inspection-maintenance pour les systèmes, en modélisant l’état de dégradation comme une chaîne de Markov à temps continu, est l’objectif principal de cette recherche. En particulier, l’ajustement dynamique du taux d’inspection µ, qui détermine la fréquence ou l’intensité des tâches de maintenance préventive, constitue le concept central. Ce taux agit comme un paramètre de contrôle équilibrant les compromis entre les activités de maintenance et le risque de défaillances. Un taux élevé µ augmente les activités de maintenance, réduisant potentiellement le taux de défaillance, mais génère également des coûts directs plus élevés. À l’inverse, un taux faible µ diminue les coûts immédiats mais peut engendrer davantage de défaillances et d’indisponibilités à long terme. Déterminer le taux d’inspection optimal µ qui équilibre ces facteurs est donc l’enjeu central. L’objectif est d’appliquer la programmation dynamique pour obtenir la valeur optimale de µ, minimisant les coûts espérés à long terme en prenant en compte la fréquence des interventions et les indisponibilités dues aux pannes. La programmation dynamique est un cadre adapté pour évaluer diverses stratégies de maintenance sous incertitude. La nature dynamique du problème, où l’état du système et la politique optimale dépendent des états et décisions antérieures, exige un modèle capable de gérer la prise de décision séquentielle sous aléa. Cette recherche vise à développer une méthode intégrant la programmation dynamique dans une chaîne de Markov à temps continu, afin de déterminer le taux d’inspection-maintenance optimal. Cela permet une planification robuste et adaptable aux fluctuations en temps réel des conditions du système et des contraintes opérationnelles. Dans cette méthodologie, un nouveau problème de type "homing" est proposé dans le contexte de la théorie de la fiabilité, caractérisé par une prise de décision dans des environnements stochastiques. La formulation et l’implémentation de l’équation de programmation dynamique présentent des défis théoriques que ce travail vise à relever. Représenter correctement les phénomènes de dégradation implique d’intégrer efficacement les coûts de maintenance et d’indisponibilité, tout en assurant une résolution calculable des équations pour les systèmes complexes. Surmonter ces défis permettra de faire progresser les stratégies de maintenance, en fournissant des solutions flexibles et économiquement efficaces pour différents contextes opérationnels et profils de risque.

Abstract

The thesis is structured around several complementary research themes, presented below. Optimal control of a queueing system In the classic M/M/k queueing model, the system is described so that, according to a Poisson process with rate λ, customers arrive at the system and are served by one of the k available servers. The service times provided by each server are exponentially distributed with parameter µ. These service times are independent and do not depend on the interarrival times of customers. The system operates under a FIFO (first in, first out) service discipline and has a total capacity of cp, which may be infinite. Optimal control strategies for queueing systems have been explored in numerous papers, often under the assumption that service parameters can be adjusted by the controller, for example, through changes in the number of active servers or the service rate. Some authors have also considered the possibility of controlling the arrival parameters. The optimization of these parameters varies, including strategies designed to serve diffrent types of customers and minimize total costs over a finite or infinite time horizon, with the optimizer’s objective based on cost criteria. In this research, a modified M/M/k queueing model is considered, where we, as decision makers, can dynamically control the number of active servers in the system at any given time. Suppose that, at a particular time instant, k + l customers are waiting for service in the system. In order to reduce this number of customers to k + r, where 0 ≤ r < l, our aim is to determine the optimal number of servers to be deployed as quickly as possible, while accounting for the associated control costs. The value function which satisfies the dynamic programming equation is derived in the general case, and solved solutions are proposed for specific instances of the problem. Optimal service time distribution for an M/G/1 waiting queue We consider an M/G/1 queueing system in which the server has the flexibility to choose between two distinct service-time distributions. The objective is to determine the choice that minimizes the expected value of a cost criterion, which considers both the cost of operating at a higher service rate and the time needed to empty the queue. The random final time is defined as the first instance in which no customer remains in the line waiting for service. Dynamic programming can be applied to obtain the optimal solution when service times follow an exponential distribution. In the more general case, conditional probability is employed to analyze the system’s behavior. In addition, explicit solutions are provided for particular cases in which the system has a finite capacity. To determine the optimal service-time distributions of an active single server operating conti-nuously over a random time interval, a novel methodology is proposed in this work. This work provides a solution to the previously unsolved problem of predicting the optimal service speed of active modules at any given time, thereby enabling effective control over the system within a continuous random time framework. The primary focus is on a setting where a server can operate at two distinct speeds, and the central concern lies in determining which speed is optimal under varying conditions. The proposed methodology integrates dynamic programming with conditioning on both arrival rates and service rates, ensuring a structured approach to optimize the service dynamics. The proposed queueing model is formulated on the basis of a system of differential equations that analyzes the system’s behavior within the dynamic programming framework. A modified optimal control formulation is applied to minimize the expected value of the cost function and to determine the optimal service time distribution at any given time instant, leveraging conditioning based on the comparison of arrival and service speeds. Ultimately, the proposed methodology can be adapted to various real-world applications, which will be discussed in this investigation as particular cases where the system capacity is finite. Furthermore, the proposed methodology can be employed to determine the optimal policy in different preferences of the system, such as capacity constraints and the initial number of customers in the planning stage. Finally, the results are illustrated through graphical representations to demonstrate the significant impact of the proposed solution in optimizing system performance over the analyzed periods. Compared to other studies, the key advantage of the current methodology lies in its ability to achieve process control by leveraging dynamic programming and condition-based modeling over an undetermined time horizon. This characteristic introduces a higher level of sophistication to optimal control models, addressing aspects that have not been explored in prior works. The validation of the proposed research models confirms their ability to accurately determine optimal control policies and to ensure the stability of the system based on the parameters of the system. The findings illustrate that both dynamic programming and conditioning-based modeling provide a systematic framework for optimizing total costs under varying operating conditions. The results are further supported by specific problem scenarios that are explicitly solved using the proposed equations. Preventive maintenance and inspection policy The state of a machine is modeled as a controlled continuous-time Markov chain, where the service times are random. By incorporating maintenance costs, our objective is to maximize operational time before the machine requires repair. The research derives the dynamic programming equation associated with the value function, enabling optimal decision making regarding inspection rates. This methodology explicitly solves specific problems that aim to minimize both direct maintenance costs and potential failure-related expenses, thereby establishing a robust framework to identify optimal inspection frequencies within a reliability-centered maintenance context. These findings improve the development of maintenance strategies and provide explicit solutions for particular scenarios, which provide valuable insight for application in reliability engineering. Developing an optimal inspection-maintenance policy for systems by modeling the degradation state as a continuous-time Markov chain is the main focus of this research. Specifically, the dynamic adjustment of the inspection rate µ, which dictates the frequency or intensity of preventive maintenance tasks, is the central concept. The inspection rate acts as a control parameter that balances the trade-off between maintenance tasks and the risk of system failures. A higher inspection rate µ increases maintenance activities, potentially reducing failure rates ; however, it also contributes to higher direct maintenance costs. In contrast, assigning a lower inspection rate µ reduces immediate maintenance costs, but can lead to long-term increases due to the increased number of failures and prolonged downtimes. Determining the optimal inspection rate u that effectively balances these opposing factors is the central challenge of this research. As mentioned above, our objective is to apply dynamic programming to obtain the optimal value of the inspection rate µ that minimizes expected long-term costs. These costs account for both the frequency of maintenance activities and the potential unavailability of the system resulting from failures. A well-suited framework for this problem is dynamic programming, as it enables the systematic evaluation of various maintenance strategies under uncertainty. The intrinsically dynamic nature of the problem, where the state of the system and the selection of the optimal maintenance policy are influenced by historical states and actions, demands a model capable of handling sequential decision-making under randomness. The objective of this research is to develop a method that integrates dynamic programming within a continuous-time Markov chain framework to determine the optimal inspection-maintenance rate. This approach offers valuable information on the optimal scheduling of maintenance tasks based on the current state of the system. These insights contribute to robust maintenance planning, enhancing responsiveness to real-time fluctuations in system conditions and operational constraints.