Acesso a filmes com base em emoções

Tese de mestrado em Engenharia Informática, apresentada à Universidade de Lisboa, através da Faculdade de Ciências, 2011Os filmes constituem uma das fontes mais importantes de entretenimento, tanto em contextos individuais como sociais. Através da combinação de diversos sistemas de símbolos, tais como imagens, textos, áudio e narração para criar histórias, frequentemente envolvem o espectador perceptual, cognitiva e emocionalmente. Os avanços tecnológicos permitem o acesso a colecções enormes de vídeos e filmes pela Internet, nas redes sociais, ou através de Video on Demand, que se vem tornando uma actividade de entretenimento em crescendo na Internet e na iTV (televisão interactiva). O desenvolvimento de técnicas de análise e classificação do vídeo baseadas no conteúdo permitem o acesso a mais informações sobre ou contidas nos filmes, exigindo o desenvolvimento de novos mecanismos de pesquisa, navegação e visualização de vídeos e filmes neste cenário. Este trabalho apresenta diferentes mecanismos de acesso, sumarização, exploração e visualização de filmes baseados nas suas propriedades emocionais, expressas nos filmes ou sentidas pelos espectadores. Com esse intuito, foi feito um estudo sobre o impacto emocional dos filmes e foram concebidos dois protótipos: O iFelt, onde os mecanismos desenvolvidos se focam em emoções sentidas, para aceder e interagir com filmes e cenas dos filmes; e o movieClouds, que enquadra também emoções sentidas, mas foca-se em emoções expressas nos filmes e veiculadas nas diferentes perspectivas do seu conteúdo, especialmente no áudio e nas legendas, onde a maioria da semântica é expressa. Ambos os protótipos foram avaliados com utilizadores, para perceber se eram úteis, satisfatórios e fáceis de utilizar, avaliar a sua usabilidade e obter opiniões e comentários. Os resultados foram bastante positivos e animadores. Apesar de alguns conceitos novos nas primeiras interacções, os utilizadores apreciaram a ideia de utilizar as propriedades emocionais para interagir com filmes, desde as perspectivas mais globais ao nível do espaço de filmes, até aos filmes, as suas cenas, e a sua evolução ao longo do tempo em timelines, nas diferentes perspectivas.Movies are one of the main sources of entertainment, in individual and social contexts. By combining diverse symbol systems, such as images, texts, audio and narration to create stories, they often engage the viewer’s perceptually, cognitively and emotionally. Technological advances are enabling the access to enormous collections of videos and movies over the Internet, in social media, and through video on demand services, that is becoming a growing entertainment activity on the Internet and iTV (interactive television). The development of video content-based analysis and classification techniques is also allowing the access to more information about or contained in the movies, demanding for new ways to search, browse and view videos and movies in this scenario. This work presents different mechanisms to access, summarize, explore and visualize movies based on their emotional properties, either expressed in the movies or felt by the viewers. For this, were designed and developed two prototypes: iFelt, where the mechanisms are focused on felt emotions to interact with movies and movie scenes; and movieClouds, that also uses felt emotions, but has a stronger focus on expressed emotions on movies, conveyed in the different tracks or perspectives of its content, especially audio and subtitles, where most of the semantics is expressed. Both prototypes were evaluated with users to get insights and feedback about their usefulness, satisfaction and ease to use. The results were very positive and quite encouraging. Although some concepts were new in the first interactions, users loved the idea of taking advantage of emotional properties to interact with movies, to overview, watch and browse movies, from a global perspective in the movie space, down to the movies, its scenes, and the timelines, where specific emotions and events can be accessed along time, in the different perspectives