Amélioration de la capture des visages pour l'industrie du jeu vidéo

Réaliser une animation réaliste d'un visage dans l'industrie du jeu vidéo est un défi technique. Il est extrêmement complexe, y compris pour les meilleurs animateurs 3D, de produire une animation faciale réaliste. Une approche à ce problème est de capturer la performance d'un acteur et de la reproduire automatiquement sur un modèle de visage paramétrable, communément appelé un «rig». Le processus reste toutefois toujours peu automatisé et repose énormément sur les artistes qui l'effectuent. La question est alors de savoir comment arriver à trouver les paramètres d'animations sur un rig de visage en 3D à partir d'une source vidéo 2D mono-caméra ? Nous proposons de ramener le problème dans un contexte physique : déterminer ces paramètres d'animation sans intervention humaine à partir de la session de capture de mouvement. L'objectif est alors de proposer aux artistes animateurs un nouvel outil qui leur permettra d'obtenir des résultats semblables à ceux du processus précédent, d'une façon plus rapide sans pour autant changer leurs habitudes de travail. Notre nouveau pipeline consiste en un transfert de déformation entre la performance de l'acteur retranscrite dans un suivi de points en 3D vers les mêmes points sur le Rig visé, afin de réaliser une cible atteignable. L'artiste n'a pas besoin de fournir une pose neutre au système, elle est déterminée sans intervention humaine en projetant la pose neutre du Rig dans l'espace du suivi. Les paramètres d'animation optimaux sont ensuite déterminés itérativement en minimisant une énergie des moindres carrés entre la cible et le rig à l'aide d'une descente de gradient dans l'espace des paramètres d'animation. Afin de ne pas tomber dans un minimum local, un réalignement au cours du processus itératif est réalisé par zones du visage entre le rig et la cible. Si l'artiste n'est pas satisfait du résultat alors produit, il peut le corriger à l'aide des mêmes outils qu'il a l'habitude d'utiliser, que nous avons adaptés à la correction d'erreurs. En utilisant notre nouveau pipeline, un artiste peut désormais réaliser une animation faciale réaliste en une demi-heure contre presque dix heures pour le même résultat avec le pipeline précédent. L'artiste n'a en effet plus qu'à se concentrer sur la correction des résultats insatisfaisants du nouveau pipeline plutôt que de réaliser l'animation entière du début.

Abstract

Performing a realistic 3D facial animation in the video game industry is a real technical challenge. It is indeed extremely complex to produce a realistic facial animation, even for the most skilled artists. One way to solve this issue is to look at it differently: why simulate something we can capture? One approach is thus to capture and reproduce the actor's performance automatically on a parametrable model. This process, however, still relies heavily on artists and is poorly automatized. How to automatically determine facial animation parameters on a 3D face rig from a Monocular 2D video source? We propose to bring the problem back to the physical world: to automatically determine these animation parameters without human intervention from the motion capture session. Our goal is to give the artists a new tool which would be yielding similar results to the previous process in a more efficient way, without changing the way they work. Our new pipeline consists in a deformation transfer between the actor's performance and the 3D model by tracking a set of 3D points on the actor's face and reproducing their movements on the same points on the rig to create a reachable target. The artist doesn't have to input a neutral pose to the system since it is automatically determined by projecting the neutral pose of the rig into the tracking space. We then iteratively determine the optimal animation parameters by minimizing a least square energy between the rig and the target in animation parameter space. To prevent local minimas, we realign the rig and the target by zones through the iterative process. If the artist is not satisfied with the output, he can correct it using the same tools he is used to use that we adapted to allow error corrections. An artist can now produce a realistic facial animation in half an hour down ten hours using the previous pipeline for the same results. The artist indeed only has to focus on correcting the frames he judges to be not satisfying rather than starting animating from scratch.