Using a Facial Recognition System Based on Artificial Neural Network Techniques for Assistive Robotic Arm Control.

Au cours des dernières décennies, des efforts de recherche ont été déployés pour permettre l'utilisation de robots et de bras robotiques d'assistance pour aider les personnes handicapées physiques à réduire leurs limitations dans les tâches quotidiennes. La plupart de ces travaux de recherche étaient basés sur des méthodes classiques et ont des limites importantes dans leur application. Par exemple, certains ont mis en place des systèmes de contrôle pour aider les personnes handicapées à utiliser des bras robotiques montés sur un fauteuil roulant électrique. Cependant, la recherche part du principe que la personne handicapée peut utiliser ses mains pour contrôler le joystick du fauteuil, ce qui n'est pas toujours possible. Le coût élevé de mise en œuvre et l'imprécision des capteurs sont également des limitations courantes. L'objectif principal de ce mémoire de maitrise est d'utiliser une technique de réseau de neurones artificiels (ANN) en reconnaissance faciale pour contrôler un bras robotique d’assitance. La reconnaissance faciale est devenue un domaine clé dans l'ANN et le traitement d'images. Dans l'application, les mouvements des yeux et de la bouche sont utilisés pour contrôler le robot afin d'aider l'utilisateur à boire. L'outil d'évaluation pour valider le système mis en place consiste à choisir entre trois gobelets de couleurs différentes et à amener le gobelet sélectionné par la bouche d'un utilisateur. Dans le projet, un environnement de simulation graphique est conçu et une nouvelle méthode de reconnaissance faciale adaptative est mise en œuvre pour supprimer les bruits générés par le clignement ou l'inclinaison du visage de l'utilisateur. De plus, la caractérisation des bibliothèques et la description de l'implantation des logiciels sont présentées, suivies des conclusions et des suggestions pour les travaux futurs. Les résultats en simulation montrent que la vitesse et la précision du système sont des points forts du modèle proposé.

Abstract

Over the past few decades, extensive research has been conducted on the use of robots and assistive robotic arms to alleviate limitations faced by physically disabled individuals in their daily tasks. However, many of these studies have relied on classical methods and are associated with significant limitations. For instance, some previous works have utilized control systems to aid disabled individuals using a robotic arm mounted on a powered wheelchair, assuming that the user can operate the chair's joystick with their hands, which may not always be possible. Other limitations of previous research include high implementation costs and sensor inaccuracies. The main objective of this master's thesis is to employ an artificial neural network (ANN) approach for facial recognition in order to control a simulated MICO assistive robotic arm by Kinova [5] in a simulation environment. Facial recognition has emerged as a key area in both ANN and image processing. In this application, eye and mouth movements are utilized to control the robot, specifically to assist the user in drinking. The assessment tool to validate the implemented system involves selecting one of three differently colored cups and then bringing the chosen cup to the user's mouth. The project includes the design of a graphical simulation environment, the implementation of an adaptive facial recognition method to mitigate noise from blinking or head tilting, characterization of libraries, description of software implementation, and conclusions with suggestions for future research. The results demonstrate that the system's speed and accuracy are notable strengths of the proposed solution.