Deep Representation Learning of 3D Human Motion with Recurrent Neural Networks

Realism in video games and in movies with Computer Generated Imagery (CGI) is oftenkey for a positive, immersive experience. When animating computer-generated characters on screen, motion capture (MOCAP) is often considered the highest standard to obtain such realism. Indeed, MOCAP technologies excel at accurately reproducing human movements in a 3D environment as they are based on precise high-speed and high precision 3D marker tracking in space and time. Although some recent techniques rely less on marker-based capture (mostly in cinema) the data used in this thesis mostly comes from marker-based motion capture using a Vicon system1. Given such a widespread use motion capture over the years, companies have gathered large amounts of such high quality data, opening the door to data-driven approaches for analysis, classification, generative modeling and others. Meanwhile, over the last decade, deep learning approaches have shown that they are able to surpass many other data-driven approaches for a myriad of tasks when the available data is sufficient. Naturally, interest for applying such approaches on 3D motion data has thusemerged in the animation domain. In this thesis, we investigate the representational power of a special type of artificial deep neural networks, called Recurrent Neural Networks (RNNs), to solve different tasks on animation data. RNNs offer a natural choice of architecture for motion modeling, as they are explicitly designed for modeling temporal dependencies in sequences by having an internal memory of past context and recurrent connections in time. This allows them in theory to effectively handle sequences of arbitrary lengths and to compress relevant past information in their internal state.

Résumé

Que ce soit au cinéma ou dans les jeux vidéos, une expérience immersive, dans laquelle un spectateur ou un utilisateur peut se perdre pendant des heures, est souvent gage de succès. L'immersion est souvent grandement influencée par le réalisme du contenu présenté, même lorsque ce contenu fait partie d'une histoire imaginaire ou fantastique. Plusieurs facettes du contenu contribuent au réalisme de l'expérience, et le mouvement des personnages est l'un de ces éléments importants. Par exemple, des mouvements s'éloignant trop des lois de la physique, ou qui ne respectent pas l'intuition établie par la physionomie d'un personnage pourront briser l'illusion et nuire à l'expérience utilisateur. En animation, plusieurs règles existent afin de clarifier et éviter certains de ces problèmes, et les technologies ne cessent d'être améliorées pour continuellement produire des animations de plus en plus réalistes. Parmi ces technologies, celles de la capture de mouvements (ou MOCAP pour motion capture) sont devenues des standards dans plusieurs industries pour recréer les mouvements humains dans un environnement 3D avec une grande fidélité. Ces approches sont souvent basées sur un ensemble de caméras infra-rouge à haute fréquence suivant plusieurs marqueurs réflectifs dans l'espace avec une grande précision. Le mouvement de ces marqueurs peut ensuite contrôler le mouvement du squelette d'un personnage dans un environnement 3D virtuel. Cette approche est très utile pour l'animation de personnages de formes humaines ou humanoïdes, pour lesquels nous sommes en général très sensibles aux artefacts. Le problème majeur de la capture de mouvement, et qui reviendra comme motivation dans chaque chapitre de cette thèse, est l'ensemble des coûts qui en découlent.