Génération d'animations par capture de mouvements avec multiples caméras 3D

Le présent mémoire traite du sujet de la capture de mouvement par caméra de profondeur. Plus précisément, la recherche émet l'hypothèse que la capture de mouvement produite par une simple caméra 3D peut être améliorée en intégrant multiples caméras et un système de cinématique inverse dans une solution de capture complète. La solution produite intègre plusieurs composantes indépendantes, qui intègrent le modèle humain de la bibliothèque HumanIK d'Autodesk dans un système de capture utilisant multiples caméras Kinect. Une architecture client-serveur est utilisée afin de combiner les données de multiples caméras 3D, en transformant le système de coordonnées de chacune d'elle dans une référence centrale. Nous établissons qu'un maximum de 3 caméras peuvent être utilisées simultanément, et procédons ensuite à combiner les squelettes en effectuant une moyenne intelligente sur les donnes accumulées. La bibliothèque de cinématique inverse est ensuite intégrée au système. Plusieurs possibilités d'intégration sont explorées et mesurées. Finalement, l'application de la cinématique inverse après la capture du squelette à chaque trame est retenue comme étant la méthode la plus précise. De plus, toutes les fonctions dérivées de la cinématique inverse, tel que les limites de flexibilité du corps humain et la correction de poses sont retenues dans la solution, car elles améliorent significativement la qualité des séquences. Finalement, de l'information supplémentaire pour compléter la cinématique inverse est recherchée dans les images de profondeur. De l'information sur l'état des mains du sujet et sur l'orientation de la tête est extraite et intégrée dans le modèle humain de HumanIK. Avec une analyse quantitative et qualitative de chaque composante indépendante et combinée, la recherche montre que la séquence de mouvement finale produite montre une amélioration significative par rapport à une simple capture par caméra 3D. Malgré les résultats montrant une amélioration significative des captures produites, celles-ci demeurent de qualité insuffisante afin d'être utilisées dans un contexte pratique. Par contre, l'intégration de la recherche dans le logiciel Motion Builder d'Autodesk a été faite et montre un potentiel et une grande attente par rapport à la capture de mouvement par caméra 3D.

Abstract

This research looks to enhance the quality of motion capture generated by a single depth camera. It suggests that by using multiple Kinect cameras as input and combining a human model of inverse kinematics, a motion sequence can be significantly improved. The first step into producing the proposed solution aims to reconcile the data from multiple depth cameras. These cameras are active sensors and interfere with each other, so that their use is limited. We establish that a higher limit of 3 cameras can be used simultaneously in our conditions and proceed to combine their data into a single output skeleton. By converting each cameras transformation space into a centralized reference, we can perform a smart average on each skeleton and use the resulting data as a basis on which to apply the inverse kinematics integration. Using the HumanIK library by Autodesk, the research then explores multiples ways of integrating an inverse kinematics solution into the motion capture pipeline. We determine that applying the kinematic equations after each pose has been calculated at each frame produces the best results. Furthermore, each function offered by HumanIK, derived from inverted kinematics applied to a human model, is analyzed. We find that all the functions, such as human flexibility models and pose correction, have benefits on the resulting sequence of movements. Finally, we look for additional data in the depth images to enhance the information fed to our IK model. By extracting hand states and head position and rotation, we can use HumanIK to calculate and guess at these values, significantly enhancing the quality of the produced MoCap sequences. We finally perform both quantitative and qualitative measurements. To do so, we compare our results with a commercial Flock Of Birds system and use a group of individuals to perform a blind test on resulting animations. We find that we can significantly enhance both the accuracy and quality of animation produced compared to that produced with a single depth camera. Despite the results being significantly better, the animations created are still not to a quality standard that can be used in a production pipeline. Despite this, the solution has been integrated in Autodesk Motion Builder software showing big promise, potential and expectancy towards depth camera based motion capture.