Assistive Robotic arm control using point of gaze Estimation

Les avancées récentes de la robotique permettent aux personnes atteintes de troubles musculosquelettiques de s'équiper d'un bras robotique d'assistance pouvant être placé sur leur fauteuil motorisé. Il a été démontré que ces bras robotiques améliorent l'autonomie et l'habileté de ces personnes, notamment pour accomplir les tâches importantes du quotidien, telles que se nourrir seul. Cependant, certains problèmes perdurent, en particulier le fait que le temps pour accomplir les manoeuvres à l'aide d'un bras robotique reste encore élevé, en particulier pour les personnes atteintes de troubles musculo-squelettiques. Une des manoeuvres les plus longues est l'approche et la saisie d'un objet, car elle demande de contrôler 6 degrés de liberté à l'aide d'une manette commandant seulement 3 axes à la fois. Aussi, le contrôle à l'aide de manettes demande un haut niveau de dextérité, souvent difficile à atteindre par les utilisateurs ciblés. Pour résoudre ces problématiques, l'objectif de ce projet est de développer une solution de contrôle du bras robotique d'assistance à l'aide d'un système de suivi du regard de l'utilisateur. Pour ce faire, il est nécessaire de suivre les yeux de l'utilisateur et d'en déduire la direction du regard, de reconstruire la scène en face de l'utilisateur par stéréovision, d'y faire la correspondance entre la direction du regard et les objets présents dans la scène pour finalement planifier la trajectoire du bras robotique pour atteindre l'objet et le prendre. La solution finale détaillée dans cette thèse permet donc de faire l'approche et la prise d'objet automatique en estimant la direction du regard de l'utilisateur et en détectant les objets en face de ce dernier. Ce système n'est aucunement intrusif car il ne nécessite pas que le bénéficiaire porte un objet comme des lunettes. Il fonctionne en présence d'illumination du soleil, ce qui n'est pas le cas d'autres types de système. Il permet aussi de prendre des objets sans contrainte sur leur type et ne nécessite aucune calibration par utilisateur. Utilisant un modèle original d'estimation de la direction du regard et mettant en place un système de détection et sélection d'objets basé sur la détection de surface plane telle une table et de l'allure de l'objet par apprentissage profond en parallèle, le système permet de planifier une trajectoire automatiquement en évitant les collisions avec la scène. À la suite d'essais exécutés dans le contexte de cette thèse, il est possible de constater une réduction du temps pour accomplir une tâche de préhension d'un objet d'environ 72.0% pour un taux de succès de 90% , tout en obtenant un score de satisfaction élevé d'en moyenne 4.6 sur 5 selon un questionnaire complété par les participants.