Analyse de scène rapide utilisant la vision et l'intelligence artificielle pour la préhension d'objets par un robot d'assistance

L'assistance robotisée à l'aide de la vision est en pleine effervescence, notamment pour les personnes âgées en perte de mobilité et les personnes atteintes de troubles musculo-squelettiques. Ce mémoire met en lumière les solutions développées dans le cadre d'une maîtrise recherche du département de génie mécanique de l'École Polytechnique de Montréal. Dans ce contexte, la Kinect V2 a permis l'acquisition surfacique de scènes amenant alors le projet à la détection d'objets. Les méthodes de détection actuelles les plus robustes prennent encore beaucoup de temps de calcul, empêchant l'automatisation de la préhension d'objets par des robots dans un temps acceptable pour l'assistance des utilisateurs au quotidien. L'objectif est alors de développer un système d'analyse de scène rapide utilisant la vision et l'intelligence artificielle pour la préhension d'objets par un robot d'assistance. Ce système doit permettre de répondre à l'ensemble des questions suivantes plus rapidement que les méthodes existantes : 1. Combien y a-t-il d'objets et où se situent-ils? 2. Comment les saisir, c.-à-d. quels sont les endroits de préhension efficaces et quelle est la phase d'approche à donner au robot? 3. Quels sont ces objets de la scène, reconnus à partir d'un apprentissage neuronal sur un ensemble de données acquis avec une caméra active? Avec l'acquisition d'un ensemble de données de 180 scènes comprenant un objet chacun, la solution a été développée en 3 étapes : 1. La détection d'objets comprenant la transformation des scènes brutes acquises en données matricielles et la segmentation 3D des scènes pour trouver les objets à l'aide d'un algorithme innovant de « palpage par le haut » suivi de l'élimination des points indésirables par calcul de leur gradient. 2. Apprentissage supervisé de l'ensemble des données suite aux algorithmes de détection d'objets des scènes. 3. Analyse de scène des objets comprenant l'identification des endroits de préhension des objets et la phase d'approche du bras robotique à l'aide d'un arbre de décision simple, puis l'utilisation d'un réseau neuronal combinant deux caractéristiques dont la surface et la couleur RGB nous permettant d'obtenir 83 % de performance dans un espace connu pour la reconnaissance d'objets. Cette étude démontre que l'analyse de scène rapide utilisant la vision et l'intelligence artificielle pour la préhension d'objets par un robot d'assistance en coopération avec un utilisateur peut être réalisée en un temps efficace. En effet, le système prend en moyenne 0,6 seconde pour l'analyse d'un objet dans une scène.