Emotion learning system for affective human-robot interaction based on emotional affordances

Tesis doctoral con la Mención de "Doctor Internacional"Esta Tesis presenta un sistema de aprendizaje emocional para una interacción Hombre-Robot usando dos enfoques complementarios. En principio, un sistema para el reconocimiento e imitación de emociones basado en analizar el lenguaje natural del usuario. La expresión facial, la voz humana y el lenguaje corporal son analizados para extraer características faciales, acústicas y corporales, que a posteriori son empleados para estimar el estado emocional del usuario mediante un enfoque bayesiano con cinco estados. Asimismo, incluye un sistema que imita emociones, mediante un modelado de las anteriores. Este sistema utiliza el robot Muecas para expresar información emocional por medio de expresiones faciales, mensajes verbales y el lenguaje corporal del cuello y la boca. A continuación, la información emocional es utilizada por el sistema de aprendizaje del comportamiento afectivo basado en “Affordances” Emocionales, representando la relación existente entre diferentes elementos afectivos, como objetos ambientales y emociones del usuario, respecto a las posibles reacciones del robot consiguiendo un efecto determinado en el usuario. Así, pretendemos que el agente robótico, modifique el estado emocional del usuario prediciendo el efecto que tendrán las reacciones emocionales o las acciones del robot sobre los objetos. Para ello implementamos un sistema de aprendizaje de “Affordances” con una perspectiva bayesiana, usando los sistemas de reconocimiento e imitación de emociones, junto con la interacción con objetos del entorno. Finalmente, proponemos un modelo de comportamiento afectivo robótico basado en “Affordances”, capaz de utilizar tanto las reacciones del agente como sus acciones sobre el entorno para modificar el estado del usuario.This Thesis presents an emotional learning system for Human-Robot interaction using two complimentary approaches. Initially, a system for emotion recognition and imitation is based in analyzing the user natural language. Facial expressions, human voice and body language are analyzed in order to extract facial, acoustic and corporal characteristics, that later are used to estimate the user's emotional state through a Bayesian approach with five states. Additionally, it includes an emotion imitation system, through a modeling of previous ones. This system uses the robot Muecas in order to express emotional information through facial expressions, verbal messages and neck and mouth corporal language. Following, emotional information is used by the learning system of the affective behavior, based in Emotional “Affordances”, representing the existent relation between different affective elements, like objects and user emotions, respect to possible robot reactions achieving a determined effect in the user. This way, we pretend the robotic agent to modify the emotional state of the user predicting the effect that the emotional reactions or the robot actions will have over the objects. Thus we implemented an “Affordances” learning system with a Bayesian perspective, using emotion recognition and imitation systems, along with the interaction with objects from the environment. Finally, we propose an “Affordance”s based robotic affective behavior model, able to use the reactions of the agent as well as its actions over the environment in order to modify the user state