Computer-based facial expression analysis for assessing user experience

Tese de Doutoramento em Tecnologias e Sistemas de Informação - Área de Especialização em Engenharia da Programação e dos Sistemas InformáticosFor the majority of the users, computers are difficult and frustrating to use. The proliferation of computers in the daily life in all sort of shapes and forms becomes a significant factor for potentially aggravating and thus degrading the users’ acceptance of the technology. Traditional user observation methods, aiming at improving human-computer interaction, concentrate on monitoring users within usability laboratories. To accompany the users and follow their difficulties in daily interaction with the computer or other interaction devices would present a solution to better form a picture of the quality of the users’ experience. Such strategy, though, has to rely on natural ways of assessing the users’ reactions, with the risk of otherwise becoming an intrusive and undesirable feature what would be turned off. Our approach borrows from natural human social interactions where body language is so much assertive of one’s appraisals and reactions. We, in particular, concentrate on facial expressions as a clue to infer the users’ perceived positive and negative situations. We start by reviewing the literature on psychology and affective computing regarding users’ emotions and specifically the interpretation of facial expressions. We then present a comprehensive experiment and study asserting the relation of facial expressions with the user task difficulty while performing a word processing task. Subsequently, we discuss different techniques to monitor user state, and as a result focus on machine vision as a solution for unobtrusive facial expression analysis. Consequently, further investigate computer interfaces that react to users’ facial expressions as a method to provide users’ assistance. A related application-oriented experiment and study is presented assessing users’ reactions to that monitoring modality within the context of interacting with a virtual shopping assistant. We conclude by acknowledging that while current technology certainly limits the scope of the research and the applicability of this form of user monitoring, the promising results presented strongly motivate future use of facial expressions analysis to assess the users’ experience with interactive systems.A maioria dos utilizadores vê o computador como uma ferramenta de difícil manuseamento que por vezes conduz a experiências frustrantes. Nesse sentido, a proliferação de computadores no dia-a-dia, em todas as suas formas e variedades, é um factor potencial para degradar a aceitação da tecnologia. Os métodos tradicionais de observação do utilizador, no sentido de melhorar a interacção Humano-Computador, conduzem a monitorização em laboratórios de usabilidade. Em contraste, o acompanhamento do utilizador e das suas dificuldades nas interacções diárias com o computador, ou outros sistemas de interacção, apresenta-se como uma melhor solução para se perceber a qualidade da experiência. Essa estratégia, no entanto, tem que ter como base métodos naturais de avaliação da reacção do utilizador, correndo, caso contrário, o risco de ser visto como uma funcionalidade intrusiva e desnecessária. O nosso método tem por base formas de comunicação não verbal que estão presentes nas interacções sociais onde são frequentemente usadas para avaliar a compreensão e dificuldade do outro. Especificamente, focamos nas expressões faciais como pista para inferir sobre situações positivas e negativas sentidas pelo utilizador. Neste trabalho, começamos por apresentar uma discussão da literatura na área da psicologia e computação afectiva em relação às emoções e interpretação de expressões faciais. Apresentamos um estudo que estabelece a relação das expressões faciais com as dificuldades sentidas pelo utilizador no uso de um processador de texto. Discutimos diferentes técnicas para monitorizar o estado do utilizador, e focamos na visão por computador como uma solução para analisar expressões faciais. Investigamos ainda interfaces que reagem às expressões faciais como forma de assistir o utilizador. É apresentado um estudo que avalia a opinião dos utilizadores a interfaces que monitorizam as suas expressões faciais, no contexto da interacção com um assistente virtual, num website de comércio electrónico. Concluímos, reconhecendo que a tecnologia existente é um factor limitante no estudo e aplicabilidade da forma descrita de observação do utilizador. No entanto, os resultados apresentados são encorajadores tendo em conta uma aplicação futura da análise de expressões faciais do utilizador, como forma de avaliar a qualidade da experiência com sistemas interactivos.INI-GraphicsNet Foundation Fellowship Program.SAP Research Center (Palo Alto).Fraunhofer IGD Virtual Human Project.NSF Research Experiences for Undergraduates (REU) - Program (NSF03- 599)