Generalized visual rhythm and tracking in sport images

Orientador: Neucimar Jeronimo LeiteDissertação (mestrado) - Universidade Estadual de Campinas, Instituto de ComputaçãoResumo: O rastreamento de objetos em imagens de vídeo está se tornando cada vez mais popular, nos mais diversos contextos, possibilitando a obtenção de informações que, de outra maneira, seriam muito trabalhosas ou mesmo impossíveis de serem obtidas. Entretanto, a grande maioria dos métodos presentes na literatura realiza o rastreamento no domínio da imagem, não no domínio tridimensional natural do problema. No contexto de imagens desportivas, onde movimentos rápidos, similaridades cromáticas entre jogadores do mesmo time e oclusões são significativas, a utilização do domínio tridimensional é particularmente interessante. Este trabalho tem como premissa básica a realização do rastreamento em um domínio tridimensional, partindo de determinadas hipóteses, plausíveis em um contexto desportivo, visando ao rastreamento automático dos jogadores em atividades desportivas. Generalizamos o conceito de ritmo visual, um método de amostragem vastamente utilizado para detecção de cortes em imagens de vídeos, e o utilizamos para efetuar o rastreamento, resultando em um método simples, intuitivo e automático quando seus pré-requisitos são atendidos. Para possibilitar a utilização da generalização do ritmo visual, desenvolvemos ainda algoritmos para identificação de objetos em movimento, calibração de câmeras e reconstrução tridimensional, além de um algoritmo baseado em grafos para a segmentação da trajetória de cada objeto em movimento, utilizando a informação obtida através do ritmo visual. Apresentamos resultados experimentais da utilização do método proposto em vídeos de eventos desportivos e coletados em laboratório, incluindo casos nos quais as condições ideais de utilização não são atendidas, causando falhas no métodoAbstract: The automatic tracking in the video images is becoming increasingly popular, in many different contexts, making available information that, otherwise, would be very laborious or even impossible to be obtained. However, most of the methods perform the tracking in the image domain not in the natural three-dimensional domain. For sports images, with rapid motions, color similarity and occlusions, the three-dimensional approach is an interesting alternative. In this work, we introduce a tracking method in the three-dimensional domain, based on some requirements, feasible in the sports context, aiming fully automatic tracking of the players. We also introduce the generalization of the visual rhythm concept and its use to the tracking problem, leading to a simple, intuitive, and automatic method. To use the generalization of the visual rhythm, we also developed algorithms to detect moving objects, camera calibration and three-dimensional reconstruction, and an algorithm based on graphs for the segmentation of the trajectory of each moving object in the scene, considering information obtained through the visual rhythm. We also show experimental results of the proposed method, in sports images and controlled environments, including cases where not all the requirements are fulfilled, yielding failures of the proposed approachMestradoCiência da ComputaçãoMestre em Ciência da Computaçã