Construcción de un modelo 3D de forma Bayesiana para la detección de características faciales

Los sistemas de reconocimiento afectivo juegan un papel importante en aplicaciones diseñadas para personas con algún tipo de discapacidad, interfaces de comunicación hombre-máquina (HCI), sistemas de realidad virtual de baja inmersión, entre otros. Este campo de estudio ha sido de gran interés en áreas como la neurociencias, ciencias computacionales, ingeniería, psicología. Aquí, el factor más importante en el cual se soportan todas las aplicaciones a desarrollar, se enfoca en la estimación de un modelo del rostro, el cual sea capaz de cuantificar de manera robusta, la morfología facial de un determinado sujeto en el momento de realizar algún tipo de análisis. Para ello se necesitan sistemas de extracción de características faciales que sean la base de la construcción de un determinado modelo de forma que relacione la morfología facial de una persona y su expresión facial presente en la escena. En este trabajo se propone una metodología para la extracción de características faciales en secuencias de imágenes; para ello se propone un modelo 3D de forma Bayesiano (3D-BSM). Para describir la forma del rostro, se define un modelo de rostro-completo el cual consiste de un conjunto de puntos de contorno los cuales establecen las regiones del rostro a analizar como cejas, ojos, nariz y boca; además de una serie de puntos de control dispuestos para ajustar la forma del rostro a la imagen. Este procedimiento se realiza a partir de una deformación/normalización del modelo de forma con el fin de obtener diferentes formas plausibles presentes en una determinada imagen. Inicialmente, el modelo BSM se utiliza para emparejar y extraer los puntos de contorno del rostro. En el modelo BSM, el prototipo del contorno del rostro se ajusta adaptativamente, a partir de la distribución a priori de la forma de un determinado rostro. Así mismo, se introducen el término de energía invariante afin, con el fin de describir las deformaciones locales entre el contorno prototipo en el dominio de la forma y el contorno deformable en el dominio de la imagen. Así,tanto las deformaciones locales como globales, pueden ser toleradas por el modelo. Luego de esto, los puntos de control son estimados a partir de los resultados de emparejamiento de los puntos de contorno basados en los estadísticos del modelo de rostro-completo. Finalmente, el parche del rostro se extrae y se normaliza utilizando el algoritmo piece-wise affine triangle warping. Los resultados experimentales basados en extraccción de características faciales de rostros reales, demuestran que el modelo 3D-BSM propuesto para la extracción de características faciales, es más exacto y efectivo en comparación con otros modelos para la estimación de características faciales como el modelo de forma activa ASM).Human affective recognition systems, play an important role in applications designed for handicapped persons, or people with some difficulty in recognizing emotions or interface development of intelligent environments. Recently, there has been a growing interest in improving the interaction between humans and computers (Human Computer Interfaces HCI). This emerging field has been a research interest for several scientific areas, i.e., computer science, engineering, psychology, and neuroscience. Here, a face model estimation is the most important factor in which all applications are supported for further research. This model is able to quantify the facial morphology of a given subject. Facial feature extraction methods are the basis for Shape modeling, which is related with the morfology and facial expression presented in a facial environment. In this thesis, we propose a methodology for facial feature extraction in image sequences, based on a 3D Shape model in a Bayesian framework (3D-BSM). To describe the facial features, we define a full-face model which consists of a set of landmark points which establish the facial regions like eyebrows, eyes, nose and mouth, plus a set of control points to fit the shape model to a given image. A Bayesian shape models uses the prior distribution of object shapes, which rejects the global shape variations of the object, and estimate it from the sample data. In the matching procedure, this prior distribution is used to constrain the dynamically adjustable prototype. In this way, large shape deformations due to the variations of samples can be tolerated. Moreover, it is expected that the algorithms developed should be able to deal with the rotation, translation, scaling and even shearing. Therefore, an affine invariant internal energy term is introduced in the BSM to describe mainly the local shape deformations between the prototype contour in the shape domain and the deformable contour in the image domain. Because the deformable contour used to match an object has been modeled as the transformed and deformed version of the prototype contour, which can also be dynamically adjusted to adapt itself to the shape variations using the information gathered from the matching process, the proposed BSM has the advantage of matching objects with both global and local variations. Finally, piece-wise affine triangle warping is performed to compute the shape and appearance information from the image. Moreover, due to the robustness of the model on changes in pose. Experimental results based on real facial feature extraction shows that the proposed 3D-BSM facial feature extraction method is more accurate and effective than the active shape model (ASM) used in the state of the art