Como melhorar a comunicação oral entre agentes artificiais e interlocutores humanos

Tese de mestrado, Ciência Cognitiva, 2021, Faculdade de Ciências, Universidade de LisboaCada vez estamos mais rodeados por agentes artificiais, desde chatbots a assistentes virtuais, com os quais interagimos. Este trabalho estuda a questão “Como melhorar a comunicação oral entre agentes artificiais e interlocutores humanos”, tendo como objetivo avaliar as emoções experienciadas por um humano na interação oral com um agente artificial, para permitir treinar estes agentes no reconhecimento do estado emocional do interlocutor e na geração de uma resposta empática, promovendo uma interação mais eficaz. A metodologia consistiu na avaliação de um estímulo vocal gerado por um agente, na caracterização vocal das emoções percecionadas e no estudo de modelos de reconhecimento de emoções e de treino de agentes artificiais, numa abordagem multidisciplinar envolvendo as áreas da Psicologia Cognitiva e da Inteligência Artificial. A avaliação das emoções percecionadas na comunicação oral suportou-se numa análise teórica e num inquérito on-line. Os resultados permitiram concluir que é possível a um humano reconhecer que está a interagir oralmente com um agente artificial, mas que nesta interação são percecionadas emoções negativas mais frequentemente do que na interação com humanos. A avaliação da codificação vocal das principais emoções percecionadas suportou-se em investigações sobre bases de dados de vozes e permitiu concluir que a língua não parece inviabilizar o reconhecimento das emoções e que a EU-Emotion Voice Database se mostrou adequada para este estudo. A análise de modelos de reconhecimento de emoções e de treino de agentes permitiu concluir que a implementação de um módulo de extração de características acústicas com base em coeficientes cepstrum de frequência de mel e de um módulo de categorização de emoções baseado em máquinas de vetores de suporte parecem adequar-se ao fim em causa. Sendo relevante implementar sistemas que permitam treinar agentes artificiais na deteção das emoções expressas por interlocutores humanos e a reagir empaticamente, conclui-se que tal parece viável, embora complexo.We are increasingly surrounded by artificial agents, from chatbots to virtual assistants, with which we interact. This work studies the question "How to improve oral communication between artificial agents and human interlocutors", aiming to evaluate the emotions experienced by a human in an oral interaction with an artificial agent, to enable the training of these agents in recognizing the emotional state of the interlocutor and in generating an empathic response, promoting a more effective interaction. The methodology consisted in the evaluation of a vocal stimulus generated by an agent, the vocal characterization of perceived emotions and the study of emotion recognition and artificial agents training models, in a multidisciplinary approach involving the areas of Cognitive Psychology and Artificial Intelligence. The evaluation of the emotions perceived in the oral communication was supported by a theoretical analysis and an online survey. The results show that it is possible for a human to recognize that is orally interacting with an artificial agent, but that in this interaction negative emotions are perceived more frequently than in the interaction with humans. The evaluation of the vocal coding of the main emotions perceived was supported in investigations on voice databases and led to the conclusion that language does not seem to prevent the recognition of emotions and that the EU-Emotion Voice Database was adequate for this study. The analysis of emotion recognition and artificial agents training models allowed the conclusion that the implementation of a module for the extraction of acoustic features based on Mel Frequency Cepstral Coefficients and a module for the categorization of emotions based on Support Vector Machines seem to be suitable for our purpose. Being relevant to implement systems that allow artificial agents training in detecting emotions expressed by humans and to react empathically, we conclude that this seems feasible, although complex