Hyperlapse Semântico para vídeos em primeira pessoa: uma abordagem multi-importância baseada em codificação esparsa

CNPq - Conselho Nacional de Desenvolvimento Científico e TecnológicoCAPES - Coordenação de Aperfeiçoamento de Pessoal de Nível SuperiorThe emergence of low-cost, high-quality personal wearable cameras combined with the unlimited storage capacity of video-sharing websites have evoked a growing interest in First-Person Videos. Such videos are usually composed of long-running unedited streams captured by a device attached to the user body, which makes them tedious and visually unpleasant to watch. Consequently, rise the need to provide quick access to the information therein. To address this need, efforts have been applied to the development of techniques such as Hyperlapse and Semantic Hyperlapse, which aims to create visually pleasant shorter videos and emphasize semantic portions of the video respectively. The state-of-the-art Semantic Hyperlapse method FFSE, negligees the level of importance of the relevant information, by only evaluating if it is significant or not. Other limitations of FFSE are the number of input parameters, the scalability in the number of visual features to describe the frames, the abrupt change in the speed-up rate of consecutive video segments. In this dissertation, we propose a parameter-free Sparse Coding based methodology to adaptively fast-forward First-Person Videos, that emphasize the semantic portions applying a multi-importance approach. Experimental evaluations show that the proposed method creates shorter version video retaining more semantic information, with fewer abrupt transitions of speed-up rates, and more stable final videos than the output of FFSE.O surgimento de câmeras pessoais portáteis de baixo custo, combinado com a alta qualidade dos sensores e a quase ilimitada capacidade de armazenamento em sites de compartilhamento de vídeos despertou um crescente interesse pelos vídeos em primeira pessoa. Tais vídeos são geralmente compostos de gravações de longa duração sem qualquer edição, capturadas por um dispositivo acoplado ao corpo do gravador, o que os tornam tediosos e visualmente desagradáveis de assistir. Com isso, surgiu a necessidade de prover acesso rápido à informação neles contida. Para suprir essa necessidade, esforços vem sendo aplicados para o desenvolvimento de técnicas como Hyperlapse, na qual o objetivo é acelerar o vídeo em primeira pessoa criando um vídeo reduzido visualmente agradável de se assistir, e Hyperlapse Semântico, que além de acelerar o vídeo, cria ênfase em trechos importantes, dado algum critério de semântica previamente definido. Contudo, o método estado da arte em Hyperlapse Semântico, FFSE, negligencia o grau de importância da informação relevante, considerando apenas se a mesma é importante ou não. Outras limitações do método FFSE são o número de parâmetros, a escalabilidade no número de características visuais, e a mudança brusca nos fatores de aceleração entre segmentos de vídeo consecutivos. Nesta tese, propomos uma metodologia livre de parâmetros baseada em Codificação Esparsa para acelerar vídeos em primeira pessoa de forma adaptativa e enfatizar as partes relevantes através de uma abordagem multi-importância. O uso da abordagem proposta resultou na criação de vídeos reduzidos mantendo uma maior quantidade de informação semântica, com menos transições bruscas nas taxas de aceleração, e mais suaves em relação ao resultado do método FFSE