Towards Sustainable Human-Robot Collaboration Disassembly Planning: Reinforcement Learning-Centered Hybrid Approaches with Fuzzy Logic

Le désassemblage des produits en fin de vie est une étape importante de la refabrication, qui se traduit par des avantages économiques et environnementaux significatifs. Traditionnellement, les opérations de désassemblage sont effectuées manuellement, ce qui est coûteux, prend du temps et nécessite des opérateurs humains qualifiés. En outre, la qualité des résultats dépend fortement des compétences des opérateurs. Le passage du désassemblage manuel au désassemblage automatisé par l’utilisation de robots collaboratifs (cobots) en tant qu’assistants humains offre un potentiel important d’amélioration de l’efficacité et de la qualité des processus. Les cobots peuvent exécuter efficacement des tâches simples et répétitives ainsi que des tâches dangereuses qui présentent des risques élevés pour la santé humaine. En revanche, les cobots ne peuvent pas exécuter des tâches difficiles et complexes qui requièrent les compétences et la force des opérateurs humains. C’est pourquoi les méthodes de désassemblage en collaboration homme-robot (HRC), qui exploitent les capacités complé-mentaires des humains et des cobots dans un processus en même temps, deviennent de plus en plus populaires. Malgré tous les avantages du désassemblage HRC par rapport au désassemblage traditionnel, la recherche dans ce domaine en est encore à ses débuts. Cette thèse présente de multi-ples contributions pour relever les défis existants et combler les lacunes potentielles dans la littérature. Comme première contribution, nous présentons un modèle d’apprentissage par renforcement (RL) multi-agents pour la planification du désassemblage HRC qui optimise dynamiquement le processus en tenant compte de plusieurs facteurs, y compris le temps d’opération et les différentes caractéristiques des composants du produit. En utilisant une approche basée sur les graphes, le modèle représente la structure du produit et prend en compte les dépendances des tâches. Deuxièmement, cette recherche présente un nouveau modèle durable de planification du désassemblage basé sur la logique logique (RL) qui optimise le processus en tenant compte non seulement des objectifs économiques mais aussi des objectifs environnementaux et sociaux. Dans le cas présent, les objectifs économiques sont la minimisation de la durée des opérations et de la fréquence de changement d’outil. Les objectifs environnementaux sont la minimisation de la consommation d’énergie du cobot et la maximisation de la qualité des pièces récupérées, tandis que les facteurs sociaux comprennent le risque ergonomique et la sécurité humaine. En outre, une approche floue est présentée pour modéliser les paramètres incertains de l’environnement.Troisièmement, nous introduisons une approche basée sur la vision informatique multi-caméras et la logique floue pour prendre en compte les risques ergonomiques associés à chaque opération de démontage. Quatrièmement, nous proposons une approche de planification du désassemblage du HRC basée sur un cadre fuzzy-RL, dans lequel un modèle flou sert de copi-lote pour le modèle RL afin d’améliorer ses performances. Ce cadre comprend également un module collaboratif d’intelligence qui sélectionne l’un des modèles flous ou RL pour prendre des décisions à chaque étape. Enfin, cette thèse examine en détail les applications de l’IA dans le traitement des aéronefs EoL, en se concentrant sur les processus de désassemblage, de recyclage et d’entretien des produits. Elle identifie les problèmes actuels et les lacunes potentielles, en soulignant les nouvelles opportunités pour les recherches futures. Afin d’évaluer les contributions proposées, cette thèse utilise plusieurs ensembles de données, mesures et analyses. Les critères d’évaluation comprennent les valeurs de récompense et le temps nécessaire à la convergence. En outre, nous avons effectué diverses analyses pour évaluer les performances des modèles dans différents scénarios. Il s’agit notamment d’analyses de sensibilité des paramètres les plus critiques des modèles, d’une analyse de compromis de l’importance des objectifs dans le processus décisionnel et de l’évaluation des performances des modèles dans des conditions incertaines qui contiennent des tâches avec une probabilité d’échec et des temps d’exécution variables. En outre, nous avons développé une interface utilisateur graphique (GUI) qui permet aux utilisateurs de personnaliser le processus en ajustant l’importance des objectifs de durabilité. En outre, un cadre expérimental a été mis en place pour valider l’approche d’évaluation des risques ergonomiques proposée.

Abstract

End-of-life (EoL) product disassembly is an important step in remanufacturing, resulting in significant economic and environmental benefits. Traditionally, disassembly operations are carried out manually, which is costly, time-consuming, and requires skilled human operators. Furthermore, output quality highly relies on operators’ skills. Transitioning from manual disassembly to automated disassembly by employing collaborative robots (cobots) as human assistants has significant potential to improve process efficiency and quality. Cobots can effectively perform simple and repetitive tasks as well as dangerous tasks that pose high risks to human health. In contrast, cobots cannot execute challenging and complex tasks that require the skill and strength of human operators. Therefore, human-robot collaboration (HRC) disassembly methods, which exploit the complementary capabilities of humans and cobots in a process at the same time, are becoming more and more popular. Despite all the advantages of HRC disassembly over traditional disassembly, research in this domain is still in its early stages. This thesis presents multiple contributions to address the existing challenges and fill the potential gaps in the literature. As a first contribution, we present a multi-agent reinforcement learning (RL) model for HRC disassembly planning that dynamically optimizes the process by considering several factors, including operation time and different characteristics of product components. Using a graph-based approach, the model represents the product structure and considers task dependencies. Secondly, this research presents a novel sustainable RL-based disassembly planning model that optimizes the process by addressing not only economic objectives but also environmental and social objectives. In this case, it considers minimizing operation time and tool change frequency as the economic objectives. The environmental objectives are minimizing cobot energy consumption and maximizing recovered parts quality, while the social factors include ergonomic risk and human safety. Furthermore, a fuzzy-based approach is presented to model uncertain parameters in the environment. Thirdly, we introduce an approach based on multi-camera computer vision and fuzzy logic to consider the ergonomic risks associated with each disassembly operation. Fourthly, we propose an HRC disassembly planning approach based on a fuzzy-RL framework, in which a fuzzy model serves as a copilot for the RL model to improve its performance. This framework also includes an intelligence collaborative module that selects one of the fuzzy or RL models for making decisions at every step. Finally, this thesis comprehensively reviews AI applica-tions in EoL aircraft treatment, focusing on product disassembly, recycling, and maintenance processes. It identifies current issues and potential gaps, highlighting new opportunities for future investigations. In order to evaluate the proposed contributions, this thesis uses multiple datasets, metrics, and analyses. The evaluation criteria include reward values and the time required for conver-gence. Furthermore, we conducted various analyses to assess the models’ performance under different scenarios. They include sensitivity analyses of the most critical parameters of the models, a trade-off analysis of objectives’ importance in the decision-making process, and the evaluation of the models’ performance under uncertain conditions that contain tasks with a probability of failure and varying execution times. In addition, we developed a graphical user interface (GUI) that enables users to customize the process by adjusting the importance of sustainability objectives. Furthermore, an experimental setting has been conducted to validate the proposed ergonomic risk assessment approach.