Amélioration de la capture des visages pour l'industrie du jeu vidéo

Réaliser une animation réaliste d'un visage dans l'industrie du jeu vidéo est un défi technique. Il est extrêmement complexe, y compris pour les meilleurs animateurs 3D, de produire une animation faciale réaliste. Une approche à ce problème est de capturer la performance d'un acteur et de la reproduire automatiquement sur un modèle de visage paramétrable, communément appelé un «rig». Le processus reste toutefois toujours peu automatisé et repose énormément sur les artistes qui l'effectuent. La question est alors de savoir comment arriver à trouver les paramètres d'animations sur un rig de visage en 3D à partir d'une source vidéo 2D mono-caméra ? Nous proposons de ramener le problème dans un contexte physique : déterminer ces paramètres d'animation sans intervention humaine à partir de la session de capture de mouvement. L'objectif est alors de proposer aux artistes animateurs un nouvel outil qui leur permettra d'obtenir des résultats semblables à ceux du processus précédent, d'une façon plus rapide sans pour autant changer leurs habitudes de travail. Notre nouveau pipeline consiste en un transfert de déformation entre la performance de l'acteur retranscrite dans un suivi de points en 3D vers les mêmes points sur le Rig visé, afin de réaliser une cible atteignable. L'artiste n'a pas besoin de fournir une pose neutre au système, elle est déterminée sans intervention humaine en projetant la pose neutre du Rig dans l'espace du suivi. Les paramètres d'animation optimaux sont ensuite déterminés itérativement en minimisant une énergie des moindres carrés entre la cible et le rig à l'aide d'une descente de gradient dans l'espace des paramètres d'animation. Afin de ne pas tomber dans un minimum local, un réalignement au cours du processus itératif est réalisé par zones du visage entre le rig et la cible. Si l'artiste n'est pas satisfait du résultat alors produit, il peut le corriger à l'aide des mêmes outils qu'il a l'habitude d'utiliser, que nous avons adaptés à la correction d'erreurs. En utilisant notre nouveau pipeline, un artiste peut désormais réaliser une animation faciale réaliste en une demi-heure contre presque dix heures pour le même résultat avec le pipeline précédent. L'artiste n'a en effet plus qu'à se concentrer sur la correction des résultats insatisfaisants du nouveau pipeline plutôt que de réaliser l'animation entière du début.