Hand tracking with the subspace hierarchical particle filter

Nesta dissertação, tratamos o problema de rastrear modelos hierárquicos através de visão computacional no contexto de interfaces gestuais. Gestos formam uma modalidade importante de comunicação humana, e ainda assim, existem poucas, e limitadas, aplicações computacionais com base em gestos. Nosso trabalho é mais uma iniciativa para reverter este quadro. Começamos justificando e discutindo aplicações para a interface visual de gestos da m?ao. Descrevemos os componentes de um sistema de reconhecimento capaz de tornar esta interface possível. Revisamos a teoria Bayesiana da probabilidade, discutimos suas vantagens, os motivos que adiaram sua adoção em larga escala e derivamos, a partir dela, o filtro de partículas. O filtro de partículas pode ser visto como uma solução aproximada para o problema de estimativa de parâmetros. ´E usado, por exemplo, para determinar os ângulos das juntas de um modelo tridimensional da m?ao que melhor caracterizem a pose e posição de uma mão real, gravada em uma seqüência de vídeo. Entretanto, a performance do filtro degrada à medida que aumentamos o número de dimensões do espaço de parâmetros. Nestes casos, um número exponencialmente maior de partículas é necessário para que o filtro convirja, inviabilizando aplicações interativas. A nossa principal contribuição é o Filtro de Partículas com Hierarquia de Subespaços. A partir da estrutura presente em modelos hierárquicos, propomos uma forma de dividir o espaço de parâmetros em subespaços que são atribuídos a filtros de partículas diferentes, organizados na forma de um grafo acíclico orientado. Esta construção apresenta melhor convergência que o filtro de partículas original, possibilitando a recuperação dos parâmetros do modelo da m?ao com um número sensivelmente menor de partículas. Usamos uma luva com seis marcadores idênticos para facilitar a extra¸c?ao de dados da imagem e então poder focar o trabalho na recuperação dos parâmetros do modelo. Dado o número restrito de marcadores, o modelo que usamos possui 15 graus de liberdade, nove a menos que um modelo da m?ao completo. Implementamos um sistema de reconhecimento, com base neste filtro, que roda a 30 quadros por segundo em um computador pessoal topo de linha e o validamos através de seqüências de vídeo reais e sintetizadasThis dissertation deals with the problem of tracking hierarchical models on the context of gesture interfaces based on computer vision. Gestures are an important medium for human communication, but there are few, and very limited, computational applications that rely on them. This work is an attempt to revert this. We start by discussing and justifying several applications for a hand gesture interface. We describe the components of a recognition system that is capable of implementing such an interface. We review the Bayesian theory of probability, discuss its advantages, the reasons that holded back its large scale adoption, and we derive the particle filter on its terms. The particle filter may be thought as an approximate solution for the parameter estimation problem. It may be used, for example, to recover every joint angle of a tridimensional hand model in order to match the pose and position of a real hand captured on video. Unfortunately, particle filtering does not scale gracefully to high dimensional parameter space applications. In these situations, a exponentially larger particle pool is required to ensure convergence, making it difficult to implement an interactive application. Our major contribution is the Subspace Hierarchical Particle Filter. We claim that, with this method, we are able use the inherent structure present in hierarchical models to extract subspaces from the parameter space and assign them to different particle filters, organized into a directed acyclic graph structure. This construction improves the overall convergence, making it possible to recover hand model parameters with much less particles. We employed a glove, with six identical markers painted on, to make it easier to extract data from the images. That way, we could focus on the model parameter recovery problem. Due to the small number of markers, we were able to work with 15 parameters only, nine less than a complete hand model. We built a recognition system based on the Subspace Hierarchical Filter that runs at 30 frames per second on a high-end personal computer. Finally, we validated our claims through real and synthesized video sequence