Effects of Automated Diagnostic Tools on Human Performance during Failure Management

Les environnements de contrôle des procédés industriels utilisent des systèmes de gestion des alarmes pour aider les opérateurs à identifier et à traiter les conditions anormales. Dans les systèmes interconnectés, une seule faute peut déclencher plusieurs alarmes simultanément, entraînant une inondation d'alarmes, où le nombre d'alarmes dépasse la capacité de l'opérateur à traiter efficacement l'information. Les inondations d'alarmes peuvent ralentir les temps de réponse, augmenter la charge cognitive, réduire la conscience de la situation et compliquer l'identification des fautes, augmentant ainsi le risque d'erreurs opérationnelles et d'accidents. L'intelligence artificielle et l'automatisation contribuent à relever ces défis grâce à des outils de diagnostic automatisés basés sur l'IA, qui aident les opérateurs à interpréter les alarmes et à identifier la cause principale des fautes. Bien que ces outils puissent améliorer la performance des opérateurs et la prise de décision, ils présentent également des risques lorsque l’IA fournit des recommandations incorrectes. Cette thèse examine l'influence des outils de diagnostic automatisés basés sur l'IA sur la performance des opérateurs et la prise de décision en situation d'inondation d'alarmes, en mettant l'accent sur la conscience de la situation, la charge de travail, la confiance et l'impact des défaillances de l'IA. Cette thèse s'appuie sur trois études, chacune publiée sous forme d'article distinct. La première étude a développé PER4Mance, un simulateur en accès libre et haute-fidélité basé sur le Tennessee Eastman Process. Ce simulateur a été conçu pour reproduire les conditions d'inondation d'alarmes et fournir un environnement contrôlé permettant d'étudier les interactions humain-machine. La deuxième étude a utilisé PER4Mance pour évaluer l'effet d'un outil de diagnostic automatisé sur la performance des opérateurs. Vingt participants ont pris part à cette étude, permettant le recueil de données sur la conscience de la situation, la charge de travail cognitive et l'oculométrie. Les résultats ont montré que l’outil a amélioré la conscience de la situation et réduit la charge cognitive, en particulier dans les scénarios de fautes complexes, où les alarmes seules ne fournissaient pas d’informations de diagnostic claires. Les données d'oculométrie ont indiqué que les opérateurs utilisant l’outil passaient moins de temps à parcourir la liste des alarmes et portaient davantage d’attention aux indicateurs de performance clés et aux recommandations diagnostiques. La troisième étude a analysé les effets des défaillances de l'IA sur la confiance, la dépendance, la charge de travail et la conscience de la situation. Vingt participants ont pris part à l’étude. Les résultats ont montré qu’en cas de défaillances de l’IA, leur performance était réduite, caractérisée par une diminution de la conscience de la situation, un taux de bonnes réponses plus faible et une augmentation des temps de réponse. Bien qu'ils aient déclaré avoir moins confiance dans le système d'IA, ils ont continué à suivre ses diagnostics incorrects, montrant une tendance à s'appuyer sur les recommandations automatisées.

Abstract

Industrial process control environments use alarm management systems to assist operators in identifying and addressing abnormal conditions. In interconnected systems, a single fault can activate multiple alarms at once, creating an alarm flood where the number of alarms exceeds an operator’s ability to process information efficiently. Alarm floods can slow response times, increase cognitive workload, reduce situational awareness, and complicate fault identification, raising the likelihood of operational errors and accidents. Artificial intelligence and automation help address these challenges through AI-based automated diagnostic tools that assist operators in interpreting alarm patterns and isolating root causes. While these tools can enhance operator performance and decision-making, they also pose risks when AI provides incorrect recommendations. This thesis examines how AI-based automated diagnostic tools influence operator performance and decision-making during alarm floods, focusing on situational awareness, workload, trust, and the impact of AI failures. The thesis was conducted in three studies, each published as a separate article. The first study developed PER4Mance, an open-source, high-fidelity process control simulator based on the Tennessee Eastman Process. The simulator was designed to replicate alarm flood conditions and provide a controlled environment for studying human-machine interactions. The second study used PER4Mance to assess the effects of an automated diagnostic tool on operator performance. Twenty participants took part in the study. Results showed that the tool improved situational awareness and reduced cognitive workload, particularly in complex fault scenarios where alarms alone did not provide clear diagnostic information. Eye-tracking data indicated that operators using the tool spent less time scanning alarm lists and directed more attention to key performance indicators and diagnostic recommendations. The third study examined the effects of AI failures on trust, reliance, workload, and situational awareness. Twenty participants contributed to the study. Results indicated that during AI failures, participants exhibited lower performance, as shown by reduced situational awareness, decreased accuracy, and slower response times. Although they reported lower trust and reliance on the AI system, they continued to follow its incorrect diagnoses, demonstrating a tendency to depend on automated recommendations.