Mise à profit des blendshapes pour la simulation physique temps-réel d'animation faciale

La génération d'animation faciale de synthèse constitue une étape cruciale en génération d’images de synthèse. Il est cependant difficile de produire des animations convaincantes. Le paradigme dominant pour la création d'animations faciales de haute qualité est la méthode des blendshapes, où les expressions sont décomposées comme la combinaison linéaire d’expressions plus basiques. Toutefois, cette technique requiert une grande quantité de travail manuel, réservée aux films à grand budget, pour produire la qualité requise. La production d'animation faciale réaliste est possible à l'aide de la simulation physique, mais ce processus requiert l'utilisation d’imagerie médicale coûteuse.Nous proposons de réunir le paradigme des blendshapes et celui de la simulation physique, afin de profiter de l'ubiquité des blendshapes tout en bénéficiant de la simulation physique pour produire des effets complexes. Nous introduisons donc blendforces, un paradigme où les blendshapes sont interprétées comme une base pour approximer les forces issues des muscles faciaux. Nous montrons que, combinées à un système physique approprié, ces blendforces produisent des animations faciales convaincantes, présentant une dynamique de mouvements de peau réaliste, gérant les contacts et le collage des lèvres, et intégrant les effets des forces inertielles et de la gravité. Nous utilisons ce formalisme pour la production en temps réel d'animation faciale avec effets physiques basée sur des mouvements capturés à l'aide d'une simple caméra. À notre connaissance, il s'agit de la première démonstration de simulation physique temps-réel appliquée au cas délicat de la simulation d'animations faciales.Generating synthetic facial animation is a crucial step in the creation of content for a wide variety of digital media such as movies and video games. However, producing convincing results is challenging, since humans are experts in analyzing facial expressions and will hence detect any artifact. The dominant paradigm for the production of high-quality facial animation is the blendshapes paradigm, where facial expressions are decomposed as a linear combination of more basic expressions. However, this technique requires large amounts of work to reach the desired quality, which reserves high-quality animation to large budget movies. Producing high-quality facial animation is possible using physical simulation, but this requires the costly acquisition of medical imaging data.We propose to merge the blendshapes and physical simulation paradigms, to build upon the ubiquity of blendshapes while benefiting from physical simulation for complex effects. We therefore introduce blendforces, a paradigm where blendshapes are interpreted as a basis for approximating the forces emanating from the facial muscles. We show that, combined with an appropriate face physical system, these blendforces can be used to produce convincing facial animation, with natural skin dynamics, handling of lips contacts, sticky lips, inertial effects and handling of gravity. We encompass this framework within a practical realtime performance capture setup, where we produce realtime facial animation with physical effects from a simple RGB camera feed. To the best of our knowledge, this constitutes the first instance of realtime physical simulation applied to the challenging task of facial animation