Implementação de algoritmos de saliência em tempo real numa GPU

Dissertação de mestrado integrado em Engenharia Electrotécnica e de Computadores, apresentada à Faculdade de Ciências e Tecnologia da Universidade de Coimbra.Neste trabalho apresenta-se uma implementação em GPU (Graphics Processing Unit) do modelo de saliência baseado na atenção visual. O campo de visão por computador tornou-se numa parte importante da intervenção da robótica na sociedade de hoje em dia, tendo aplicações cruciais, nomeadamente na medicina, na vigilância e segurança militar e no domínio da vigilância. A atenção visual é um mecanismo perceptual que, descrito de forma simples, aplica os recursos de processamento disponíveis, limitados por natureza, na análise selectiva das partes mais relevantes do fluxo de dados sensoriais de entrada, de forma a usá-los mais eficiente e criteriosamente, e tem sido alvo de extensa investigação na área de visão por computador nos últimos anos. Neste contexto, a saliência é a qualidade subjectiva e distintiva de percepção visual que faz com que certos aspectos do mundo se destaquem dos demais e capturem a atenção do ser humano. O processo de saliência presta-se a SIMD (Single Instruction Multiple Data), onde a mesma instrução é aplicada a múltiplos dados. SIMD implica processamento em paralelo, para o qual as GPUs são adequadas porque são extremamente poderosas, devido à sua arquitectura paralela e à sua eficiência, permitindo a manipulação de grandes blocos de dados. Na última década as GPUs têm sido desenvolvidas de forma a permitir utilizações mais genéricas, onde o hardware gráfico é usado para cálculos além daqueles de natureza estritamente gráfica e em que uma das ferramentas para GPGPU (General-Purpose Computing on Graphics Processing Units) é o CUDA (Compute Unified Device Architecture). A solução implementada segue o algoritmo de saliência de Itti et al. e no decurso deste trabalho usa-se uma NVIDIA 9800GTX+ com 128 núcleos CUDA de forma a obter um desempenho de 25 imagens a cores processadas por segundo, com uma resolução de 640 480 píxeis. Os resultados deste trabalho demonstram que esta implementação é 27,5x mais rápida do que a sua homóloga em CPU, usando as funcionalidades da biblioteca OpenCV (Open Source Computer Vision) que já recorre a várias optimizações. Face a outras soluções publicadas, neste trabalho conseguiu-se um desempenho superior, ao contrário de outros está disponível em open source e disponibilizou-se um guia de utilizador com a finalidade de auxiliar a comunidade científica no uso deste sistema. Os resultados obtidos e a facilidade de integração permitem, como proposto para trabalho futuro, a integração no IMPEP (Integrated Multimodal Perception Experimental Platform) e em num Ar.Drone da Parrot.In this work an implementationin a GPU (Graphics Processing Unit) of the salience model based on the visual attention is presented. Computer vision has become an important part in robotic intervention of nowadays society, with key usage on medicine, on military security and surveillance and on surveillance domain. Briefly, the visual attention is a perceptual mechanism that applies the available processing resources, innerantte limited by, on the selective analysis of the most relevant parts of the inbound sensory data flow, in order to use them more efficiently and wisely. It has been thoroughly studied on the computer vision field during the last few years. In this context the salience is the subjective and distinctive quality of visual perception that makes certain aspects of the world to standout from the others and capture the human being attention. The salience process may be executed following the SIMD method where the same instruction is applied to multiple data. SIMD (Single Instruction Multiple Data) implies parallel processing for which the GPUs are suitable since they are extremely powerful due to their parallel architecture and to their efficiency, allowing the manipulation of large data blocks. Over the last decade GPUs have been developed to allow more generic applications, where graphical hardware is used to computing operations beyond the ones of graphical nature, and CUDA is one of GPGPU (General-Purpose Computing on Graphics Processing Units) tools. The implemented solution follows the Itti et al. model and during this work uses a NVIDIA 9800GTX+ with 128 CUDA (Compute Unified Device Architecture) cores so that it achieves a performance of 25 processed colour images per second, with a 640 480 pixels resolution. the results of this work show that this implementation is 27.5 times faster than its homologous CPU, using the OpenCV (Open Source Computer Vision) library features, which has optimizations. Compared with other published solutions, this work is available in open source and offer a user guide to assist the scientific community in using this system. The results and the ease of integration allow, as proposed for future work, integration in the IMPEP (Integrated Multimodal Perception Experimental Platform) and in a Parrot AR.Drone