Human hand tracking system using computer vision for embedded applications

In recent years pro cessing capacity of mobile devices have greatly increased, allowing them to pro cess applications, such as games, previously only p ossible on platforms with greater computing p ower. However, the user interface has not accompanied this evolution of computing p ower, still b eing held using non-ergonomic keyb oards. This dissertation prop oses a interaction system for mobile devices based on Computer Vision. This system tracks the user's hand and recognizes six p ossible gestures: p ointing, emph zo om in, emph zo om out, clo ckwise rotation, counterclo ckwise rotation and drag. Initially this system captures images of the user's hand, applies pre-pro cessing lters on the images and segments the region of the skin by thresholding. Then, the contour of the hand is extracted and represented in a vector by a chain co de algorithm. The ngertips are lo cated from the b oundary and represented and, by a set of rules, the gesture made by the user is recognized. The system prop osed is simulated using the Simulink platform and implemented in C ANSI language. In addition, this system is compared with three other systems describ ed in literature based on four evaluation criteria: computacional cost, rotation invariance for the gesture of p ointing, robustness to regions at the background of image with skin-like color and robustness to o cclusion with regions with skin-like color. The results indicate that this system meets the requirements of evaluation criteria, which makes p ossible its use in mobile devicesNos últimos anos a capacidade de processamento dos dispositivos portáteis têm aumentado muito, permitindo-lhes processar aplicações, tais como jogos, antes somente possíveis em plataformas de maior poder computacional. Porém, a interface com o usuário não tem acompanhado essa evolução do poder computacional, sendo realizada ainda por meio de teclados não ergonômicos. Esta dissertação propõe um sistema de interação para dispositivos portáteis baseado em Visão Computacional. Este sistema rastreia a mão do usuário e reconhece seis possíveis gestos: apontamento, zoom in, zoom out, rotação horária, rotação anti-horária e arrastar. Inicialmente o sistema captura imagens da mão do usuário, aplica filtros de pré-processamento sobre estas e segmenta a região da pele através de limiarização. Feito isto, o contorno da mão é extraído e representado em um vetor pelo algoritmo do código em cadeia. As pontas dos dedos são localizadas a partir do contorno representado e, através de um conjunto de regras, o gesto realizado pelo usuário é reconhecido. O sistema proposto é simulado utilizando a plataforma Simulink e implementado em linguagem C ANSI. Além disto, este sistema é comparado com três outros sistemas descritos na literatura com base em quatro critérios de avaliação: custo computacional, invariância à rotação para o gesto de apontamento, robustez à presença de regiões no fundo da imagem com cor próxima à da pele e robustez à oclusão com regiões de cor próxima à da pele. Os resultados indicam que este sistema atende os requisitos dos critérios de avaliação, portanto, sendo possível sua utilização em dispositivos portáteis