A mathematical model for computational inference of emotional state based on facial expressions\' detectors.

Este trabalho apresenta um modelo matemático para a inferência do estado emocional de um usuário ou interlocutor com base em suas expressões faciais. O modelo apresentado consiste em dois estágios básicos, responsáveis pelo tratamento de sinais e sua integração, respectivamente. No primeiro estágio, filtros de Kalman independentes são utilizados para o processamento paralelo dos sinais relativos às expressões faciais emocionais. O estágio de integração, por sua vez, aplica os sinais filtrados a um sistema no qual uma partícula desliza sobre uma superfície a qual representa os estados e transições emocionais. O estado emocional do interlocutor é inferido, quadro a quadro, por meio da inspeção da posição instantânea da partícula. Uma heurística de simulação-otimização baseada em recozimento simulado (simulated annealing), é introduzida a fim de automatizar o processo de ajuste dos parâmetros do modelo em conformidade com o algoritmo de detecção de expressões faciais escolhido. O modelo proposto foi validado utilizando-se um corpus contendo 51 vídeos. Os resultados são comparados à classificação realizada por um grupo de voluntários, correspondendo a esta em 92% dos casos.This work presents a mathematical model for emotional state inference based solely on facial expressions. The presented model consists of two basic steps, which are responsible for signal processing and its integration, respectively. During the former, independent Kalman filters are employed for parallel processing of emotional facial expression related signals. The later step, integration, applies those filtered signals to a system where a massless particle slides along a surface representing the emotional states of interest and its transitions. The subjects emotional state is inferred from the particles instantaneous position at each frame. A simulation-optimization heuristic based on simulated annealing is introduced as for fully automatic parameter tuning technique, which allows for easily coupling between the proposed model and different facial expression detection algorithms. The proposed model is validated against 51 multimodal emotional videos. The results are compared to human-based classification and a 92% agreement rate is observed