Reinforcement Learning with Data-Driven Prediction Methods for Optimal Condition-Based Maintenance Strategies

La dégradation est un phénomène naturel qui se produit dans les différents systèmes en raison de l'utilisation et de l'exposition à l'environnement. Par conséquent, une maintenance est nécessaire pour maintenir les systèmes dans des conditions de fonctionnement sûres. Au cours de la dernière décennie, la maintenance conditionnelle s'est avérée capable d'améliorer la fiabilité des systèmes et de réduire les coûts. La maintenance conditionnelle est une stratégie de maintenance qui décide des actions de maintenance en détectant les premiers signes de défaillance à partir de l'état du système. Le développement rapide des technologies de surveillance et d'acquisition de données a encouragé l'application de stratégies de maintenance conditionnelle. Malgré l'intérêt croissant pour la maintenance conditionnelle et les différentes études proposées dans ce domaine, ce sont des lacunes existantes qui nécessitent davantage d'investigations et de recherches. La littérature s'accorde sur la distinction de la maintenance conditionnelle car elle utilise des informations collectées à partir des systèmes, néanmoins la majorité des études proposées proposent des stratégies de maintenance conditionnelle basées sur des modèles avec des paramètres supposés qui ne sont pas liés aux informations ou données collectées à partir de systèmes réels. De tels modèles ont également des difficultés à envisager des actions de maintenance plus applicables autres que les actions de remplacement. Nous abordons ces problèmes en proposant un modèle et une méthodologie capables d'utiliser des informations réelles collectées sur différents systèmes qui n'ont pas d'hypothèses et d'envisager différentes actions de maintenance. Nous trouvons également une lacune dans la recherche concernant l'utilisation de la durée de vie utile résiduelle. La durée de vie utile restante principalement utilisée dans la littérature pour optimiser les intervalles d'inspection, nous proposons un arrangement différent pour utiliser la durée de vie utile restante avec une méthode de solution basée sur les données pour atteindre une meilleure rentabilité. Enfin, pour tenter de combler l'écart consistant à ne considérer qu'un seul mode de détérioration, le modèle proposé dans ce travail a traité ce problème en utilisant un thème axé sur les données similaire proposé pour combler les deux écarts précédents. Cette thèse propose un modèle et une méthodologie génériques basés sur les données qui combinent principalement des modèles de prédiction de détérioration et une méthode de solution sans modèle prédéfini, pour optimiser une stratégie de maintenance conditionnelle préventive à plusieurs niveaux d'intervention. Cette méthodologie n'est pas limitée à certaines hypothèses sur le processus de détérioration et apprend le processus de détérioration directement à partir de données réelles. Il prend également en compte les actions de réparation préventive à plusieurs niveaux à côté des actions de remplacement pour résoudre le problème de maintenance de manière pratique. La méthode de solution sans modèle prédéfini, en particulier l'apprentissage par renforcement, a facilité l'applicabilité de la méthodologie car elle obtient la solution à l'aide d'un apprentissage interactif sans avoir besoin d'estimer aucun paramètre. Plus tard, le concept de durée de vie utile restante du système est adopté pour améliorer la rentabilité des stratégies obtenues. Une méthode qui adopte des techniques de survie non paramétriques ainsi qu'une approche basée sur la fiabilité est proposée pour estimer la durée de vie utile restante à utiliser dans le cadre d'une nouvelle conception pour la fonction de récompense de la méthode d'apprentissage par renforcement. Enfin, cette méthodologie est développée pour être capable de traiter le problème des modes de défaillance multi-dégradation. Deux points méritent d'être mentionnés. Premièrement, les stratégies obtenues grâce à cette méthodologie associent l'état de dégradation du système à l'action de maintenenance appropriée. Ce qui différe des stratégies de maintenance basées sur les conditions de seuil des actions largement proposées. Deuxièmement, un ensemble de données réelles est utilisé dans cette recherche pour tester la méthodologie proposée. La contribution de la méthodologie proposée est présentée en trois volets qui peuvent être utilisés ensemble pour résoudre des problèmes complexes. De plus, chacun des volets a sa capacité à résoudre certains problèmes d'applications différentes. Indépendamment de l'individualité de chaque volet, la méthdodologie proposée se développe progressivement de manière séquentielle.

Abstract

Degradation is a natural phenomenon that occurs in different systems as a result of usage and environmental exposure. Accordingly, there is a need for maintenance and inspection to keep the systems in safe and functional condition. Over the past decade, condition-based maintenance has been found to be capable of improving the reliability of systems and reducing costs. Condition-based maintenance is a maintenance strategy that decides and optimizes maintenance actions by detecting early signs of failure from the condition of the system. The rapid development of data monitoring and acquisition technologies encouraged the application of condition-based maintenance strategies. Despite a growing interest in condition-based maintenance and various studies that have been proposed in that domain, there are existing opportunities that call for more investigation and research. The literature agrees on the distinction of condition-based maintenance, as it uses information collected from the systems; nevertheless, the majority of the studies have proposed condition-based maintenance strategies based on models with assumed parameters that are not related to information or to data collected from real systems. Such models also suffer from challenges in considering more applicable maintenance actions, other than replacement actions. We address these issues by proposing a model and methodology that are capable of using real information collected from different systems that do not have assumptions and consider different maintenance actions and allow optimally carry out proactive maintenance. We also find a gap in the research with remaining useful life utilization. Remaining useful life is mainly used in the literature to optimize inspection intervals. So based on the estimation of the remaining useful life, some planned inspections are canceled, and others are added. We propose a different arrangement for using the remaining useful life with a data-driven solution method as prediction and reinforcement learning models to reach better cost-efficiency. Finally, in an attempt to address the gap of considering only a single deterioration mode, the proposed model in this work treats this problem using a similar data-driven theme proposed to address the two previous gaps. This thesis proposes a generic data-driven model and methodology that mainly combines deterioration prediction models and model-free solution methods to optimize a multilevel preventive condition-based maintenance strategy. This methodology is not limited to certain assumptions about the deterioration process and learns the deterioration process directly from real data. It also considers multi-level preventive repair actions, aside from the replacement actions, to tackle the maintenance problem in a practical way. The model-free solution method, specifically, reinforcement learning, strengthened the applicability of the methodology, as it obtains the solution using an interactive learning manner without a need to estimate any parameters. Later, the concept of the system's remaining useful life is adopted to improve the cost-effectiveness of the strategies obtained. A method that adopts survival techniques, together with a reliability-based approach, is proposed to estimate the remaining useful life that is used as a part of a new design for the reward function for the reinforcement learning method. Finally, this methodology is developed such that it is capable of addressing the multi-deterioration failure modes problem. Two points are worth mentioning: first, the strategies obtained through this methodology map from state to action differently than the widely proposed actions' threshold condition-based maintenance strategies. Second, a real dataset is used in this research to test the proposed methodology. The contributions of this proposed methodology are presented in threefold that can be employed together to solve complex problems. Each has its own capacity to solve certain problems in different applications. While each is an individual solution, they have been developed progressively, in a sequential manner.