Collaboration humain-robot: modèles mentaux et apprentissage de la rationalité pour une assistance adaptative

L’interaction humain-machine représente un enjeu central dans le développement de systèmes intelligents destinés à assister l’humain dans des tâches complexes. Ce mémoire explore un cadre de collaboration humain-robot dans lequel le robot aide un humain poursuivant un objectif parmi plusieurs possibles, en adaptant sa stratégie de décision en fonction des actions observées. L’objectif principal est d’optimiser l’assistance du robot en réduisant l’incertitude sur l’intention humaine, sans communication explicite entre les agents. Pour aborder cette problématique, les Processus Décisionnels Markoviens Partiellement Observables (POMDP) sont utilisés. L’hypothèse principale repose sur le fait que l’humain adopte un comportement à rationalité limitée. Ainsi, le robot estime son intention à l’aide d’un modèle mental fondé sur une politique de Boltzmann, ajusté dynamiquement grâce à une méthode d’apprentissage de l’indice de rationalité en fonction des états et actions observées. Deux niveaux de planification sont étudiés : (a) Modèle mental de premier ordre : le robot suppose que l’humain agit indépendamment de ses propres décisions et optimise sa politique en conséquence ; (b) Modèle mental de second ordre : le robot intègre l’idée que l’humain peut adapter ses actions en réponse aux siennes, introduisant une complexité supplémentaire liée à la récursion dans les modèles de décision. L’approche adoptée est validée expérimentalement dans un environnement simulé où le robot doit aider un humain à atteindre un objectif en retirant des obstacles sur son chemin. Les résultats montrent que l’intégration du modèle mental améliore la capacité du robot à anticiper les besoins de l’humain et à agir de manière proactive. Cependant, des limitations persistent, telles que l’estimation précise de la rationalité humaine et la complexité des modèles. Ce travail contribue à l’avancement des méthodes de prise de décision en collaboration humain-robot, ouvrant la voie à des applications en logistique, en santé et en robotique de service.

Abstract

Human-machine interaction represents a central issue in developing intelligent systems designed to assist humans in complex tasks. This thesis explores a framework for human-robot collaboration in which the robot assists a human pursuing one of several possible goals, adapting its decision strategy according to observed actions. The main objective is to optimize robotic assistance by reducing uncertainty about human intention, without explicit communication between agents. To address this problem, Partially Observable Markov Decision Processes (POMDP) are used. The main assumption is that human behavior is boundedly rational. Thus, the robot estimates its intention using a mental model based on a Boltzmann policy, adjusted dynamically through a method of learning the rationality index as a function of observed states and actions. Two levels of planning are studied: (a) First-order mental model: the robot assumes that humans act independently of their own decisions, and optimizes its policy accordingly; (b) Second-order mental model: the robot incorporates the idea that humans may adapt their actions in response to its own, introducing additional complexity linked to recursion in decision models. The approach adopted is validated experimentally in a simulated environment where the robot must help a human to achieve a goal by removing obstacles in its path. The results show that integrating the mental model improves the robot’s ability to anticipate the human’s needs and act proactively. However, limitations remain, such as accurate estimation of human rationality and model complexity. This work contributes to advancing human-robot collaborative decision-making methods, paving the way for applications in logistics, healthcare and service robotics.