Lifelike Humans: Detailed Reconstruction of Expressive Human Faces

Tesis doctoral presentada para lograr el título de Doctor por la Universidad Autónoma de Barcelona, Programa de Doctorado en Informática.--2021-01-12[EN] Developing human-like digital characters is a challenging task since humans are used to recognizing our fellows, and find the computed generated characters inadequately humanized. To fulfill the standards of the videogame and digital film productions it is necessary to model and animate these characters the most closely to human beings. However, it is an arduous and expensive task, since many artists and specialists are required to work in a single character. Therefore, to fulfill these requirements we found an interesting option to study the automatic creation of detailed characters through inexpensive setups. In this work, we develop novel techniques to bring detailed characters by combining different aspects that stand out when developing realistic characters, skin detail, facial hairs, expressions, and microexpressions. We examine each of the mentioned areas with the aim of automatically recover each of the parts without user interaction nor training data. We study the problems for their robustness but also for the simplicity of the setup, preferring single-image with uncontrolled illumination and methods that can be easily computed with the commodity of a standard laptop. A detailed face with wrinkles and skin details is vital to develop a realistic character. In this work, we introduce our method to automatically describe facial wrinkles on the image and transfer to the recovered base face. Then we advance to the facial hair recovery by resolving a fitting problem with a novel parametrization model. As of last, we develop a mapping function that allows transfer expressions and microexpressions between different meshes, which provides realistic animations to our detailed mesh. We cover all the mentioned points with the focus on key aspects as (i) how to describe skin wrinkles in a simple and straightforward manner, (ii) how to recover 3D from 2D detections, (iii) how to recover and model facial hair from 2D to 3D, (iv) how to transfer expressions between models holding both skin detail and facial hair, (v) how to perform all the described actions without training data nor user interaction. In this work, we present our proposals to solve these aspects with an efficient and simple setup. We validate our work with several datasets both synthetic and real data, prooving remarkable results even in challenging cases as occlusions as glasses, thick beards, and indeed working with different face topologies like single-eyed cyclops.[ES] Desarrollar personajes digitales similares a los humanos es un reto, ya que los humanos estamos acostumbrados a reconocernos entre nosotros y a encontrar a los CGI poco humanos. Para cumplir con los estándares de las producciones de videojuegos y películas digitales, es necesario modelar y animar a estos personajes de la manera más parecida posible a los humanos. Sin embargo, es una tarea ardua y costosa, ya que se requiere a muchos artistas y especialistas trabajando en un solo personaje. Por lo tanto, para cumplir con estos requisitos, encontramos la creación automática de CGIs detallados a través de setups económicos una opción interesante para estudiar. En este trabajo, desarrollamos técnicas novedosas para conseguir personajes detallados combinando diferentes aspectos que se destacan al desarrollar el realismo como detalles de la piel, pelos faciales, expresiones y microexpresiones. Examinamos cada una de las áreas mencionadas con el objetivo de recuperar cada una de las partes automáticamente sin interacción del usuario ni datos para el aprendizaje. Estudiamos los problemas buscando su robustez, pero también la simplicidad de la configuración, prefiriendo soluciones que requieren una sola imagen con iluminación no controlada y cálculos que pueden obtenerse con la comodidad de un ordenador portátil estándar. Una cara detallada con arrugas y detalles de la piel es vital para desarrollar un personaje realista. En este trabajo, presentamos nuestro método para describir automáticamente las arrugas faciales en la imagen y transferirlas a la cara base recuperada. Luego proponemos la recuperación del vello facial resolviendo un problema de ajuste de parámetros con un nuevo modelo de vello facial parametrizable. Por último, introducimos una función de mapeo que permite transferir expresiones y microexpresiones entre diferentes mallas, lo que proporciona animaciones realistas a nuestra cara detallada. Cubrimos todos los puntos mencionados con el enfoque puesto en aspectos clave como (i) cómo describir las arrugas faciales de una manera simple y directa, (ii) cómo recuperar 3D a partir de las detecciones 2D, (iii) cómo recuperar y modelar el vello facial de 2D a 3D, (iv) cómo transferir expresiones entre modelos que contienen tanto el detalle de la piel como el vello facial, (v) cómo realizar todas las acciones descritas sin datos de entrenamiento ni interacción del usuario. En este trabajo, presentamos nuestras propuestas para resolver estos aspectos con una configuración eficiente y simple. Validamos nuestro trabajo con varios conjuntos de datos, tanto sintéticos como reales, demostrando resultados notables incluso en casos desafiantes como oclusiones por gafas, barbas densas y, incluso, trabajando con diferentes topologías faciales como cíclopes de un solo ojo