Reinforcement Learning with Data-Driven Prediction Methods for Optimal Condition-Based Maintenance Strategies

La dégradation est un phénomène naturel qui se produit dans les différents systèmes en raison de l'utilisation et de l'exposition à l'environnement. Par conséquent, une maintenance est nécessaire pour maintenir les systèmes dans des conditions de fonctionnement sûres. Au cours de la dernière décennie, la maintenance conditionnelle s'est avérée capable d'améliorer la fiabilité des systèmes et de réduire les coûts. La maintenance conditionnelle est une stratégie de maintenance qui décide des actions de maintenance en détectant les premiers signes de défaillance à partir de l'état du système. Le développement rapide des technologies de surveillance et d'acquisition de données a encouragé l'application de stratégies de maintenance conditionnelle. Malgré l'intérêt croissant pour la maintenance conditionnelle et les différentes études proposées dans ce domaine, ce sont des lacunes existantes qui nécessitent davantage d'investigations et de recherches. La littérature s'accorde sur la distinction de la maintenance conditionnelle car elle utilise des informations collectées à partir des systèmes, néanmoins la majorité des études proposées proposent des stratégies de maintenance conditionnelle basées sur des modèles avec des paramètres supposés qui ne sont pas liés aux informations ou données collectées à partir de systèmes réels. De tels modèles ont également des difficultés à envisager des actions de maintenance plus applicables autres que les actions de remplacement. Nous abordons ces problèmes en proposant un modèle et une méthodologie capables d'utiliser des informations réelles collectées sur différents systèmes qui n'ont pas d'hypothèses et d'envisager différentes actions de maintenance. Nous trouvons également une lacune dans la recherche concernant l'utilisation de la durée de vie utile résiduelle. La durée de vie utile restante principalement utilisée dans la littérature pour optimiser les intervalles d'inspection, nous proposons un arrangement différent pour utiliser la durée de vie utile restante avec une méthode de solution basée sur les données pour atteindre une meilleure rentabilité. Enfin, pour tenter de combler l'écart consistant à ne considérer qu'un seul mode de détérioration, le modèle proposé dans ce travail a traité ce problème en utilisant un thème axé sur les données similaire proposé pour combler les deux écarts précédents. Cette thèse propose un modèle et une méthodologie génériques basés sur les données qui combinent principalement des modèles de prédiction de détérioration et une méthode de solution sans modèle prédéfini, pour optimiser une stratégie de maintenance conditionnelle préventive à plusieurs niveaux d'intervention. Cette méthodologie n'est pas limitée à certaines hypothèses sur le processus de détérioration et apprend le processus de détérioration directement à partir de données réelles. Il prend également en compte les actions de réparation préventive à plusieurs niveaux à côté des actions de remplacement pour résoudre le problème de maintenance de manière pratique. La méthode de solution sans modèle prédéfini, en particulier l'apprentissage par renforcement, a facilité l'applicabilité de la méthodologie car elle obtient la solution à l'aide d'un apprentissage interactif sans avoir besoin d'estimer aucun paramètre. Plus tard, le concept de durée de vie utile restante du système est adopté pour améliorer la rentabilité des stratégies obtenues. Une méthode qui adopte des techniques de survie non paramétriques ainsi qu'une approche basée sur la fiabilité est proposée pour estimer la durée de vie utile restante à utiliser dans le cadre d'une nouvelle conception pour la fonction de récompense de la méthode d'apprentissage par renforcement. Enfin, cette méthodologie est développée pour être capable de traiter le problème des modes de défaillance multi-dégradation. Deux points méritent d'être mentionnés. Premièrement, les stratégies obtenues grâce à cette méthodologie associent l'état de dégradation du système à l'action de maintenenance appropriée. Ce qui différe des stratégies de maintenance basées sur les conditions de seuil des actions largement proposées. Deuxièmement, un ensemble de données réelles est utilisé dans cette recherche pour tester la méthodologie proposée. La contribution de la méthodologie proposée est présentée en trois volets qui peuvent être utilisés ensemble pour résoudre des problèmes complexes. De plus, chacun des volets a sa capacité à résoudre certains problèmes d'applications différentes. Indépendamment de l'individualité de chaque volet, la méthdodologie proposée se développe progressivement de manière séquentielle.