Desenvolvimento de uma abordagem para o reconhecimento de gestos manuais din?micos e est?ticos.

Programa de P?s-Gradua??o em Ci?ncia da Computa??o. Departamento de Ci?ncia da Computa??o, Instituto de Ci?ncias Exatas e Biol?gicas, Universidade Federal de Ouro Preto.Durante os ?ltimos anos, t?m sido desenvolvidas diversas abordagens para o reconhecimento de gestos manuais, tanto est?ticos como din?micos. Todas com o objetivo de melhorar a intera??o homem-computador. Muitas dessas abordagens, inicialmente baseados nas informa??es de intensidade, n?o fornecem dados suficientes para uma boa caracteriza??o. Devido ao avan?o da tecnologia, novos dispositivos est?o surgindo como ? o caso do sensor Kinect o qual, al?m da informa??o de intensidade, prov? as informa??es de profundidade e posi??es das articula??es do corpo. Dessa maneira, obt?m-se uma maior vantagem no desenvolvimento de um modelo para reconhecimento de gestos, pois ajuda reduzindo alguns processos complexos como ? o caso da segmenta??o e localiza??o da m?o. Contudo as novas informa??es de profundidade e posi??o podem tamb?m ser usadas para a gera??o de novas caracter?sticas e melhorar as taxas de reconhecimento. Nesta disserta??o apresentamos dois modelos para o reconhecimento de gestos, tanto est?ticos como din?micos, usando as informa??es de intensidade e profundidade (RGBD), al?m da informa??o das posi??es das principais articula??es do corpo. No modelo para reconhecer gestos est?ticos, usou-se a informa??o de profundidade, propondo um m?todo baseado na representa??o da m?o em uma nuvem de pontos. Logo, usando a teoria de cossenos de dire??o, gerou-se um vetor de Histogramas de Magnitudes Acumuladas, o qual representa as novas caracter?sticas locais da m?o. Finalmente, usando o classificador SVM (Support Vector Machine), geraram-se resultados superiores a outros modelos da literatura, sendo o melhor resultado de 99.21% de acur?cia media. No modelo para reconhecer gestos din?micos, usou-se a informa??o das posi??es da m?o para gerar a trajet?ria do gesto e propor um algoritmo de extra??o de quadros principais, evitando assim o uso reiterado de t?cnicas invari?veis ao tempo como os Hidden Markov Models (HMM) ou Dinamyc Time Warping (DTW). Depois, geraram-se tr?s vetores: o vetor de informa??o espacial VSI , o vetor de informa??o temporal VTI e o vetor de mudan?as da posi??o da m?o VHC, os quais representam as caracter?sticas globais do gesto. Tamb?m, o descritor local SIFT foi usado nas imagens de intensidade e profundidade para obter caracter?sticas das m?os. A partir dessas caracter?sticas, foram gerados atributos de n?vel m?dio usando a t?cnica Bag-of-Words (BoW), gerando o vetor de caracter?sticas locais. Esse modelo foi testado usando o classificador SVM (Support Vector Machine) usando tr?s bases de dados diferentes, gerando resultados superiores a outros modelos da literatura em cada caso (100%, 88.38% e 98.28%).During the last years, different approaches have been developed for hand gestures recognition, both static and dynamic. All with the goal of improving the human-computer interaction. Many of these approaches, initially based on the intensity information, do not provide sufficient data for a good characterization. Due to advancement in technology, new devices are emerging such as the Kinect sensor which, in addition to intensity information, provides information and depth positions of the joints of the body. Thus, we obtain a greater advantage in developing a model for gesture recognition, it helps reduce some complex processes such as the segmentation and hand location. However the new depth and position information can also be used for new features generation and improved recognition rates. In this thesis we present two models for gesture recognition, both static and dynamic, using the intensity and depth of information (RGB-D), and the positions information of the main joints of the body. In the model to recognize static gestures, was used the depth information, proposing a method based on hand representation in a point cloud. Thus, using the theory of direction cosines, was generated a Accumulated Magnitude Histogram vector, which represents the new hand local characteristics. Finally, using the SVM classifier (Support Vector Machine ), the results are superior results to other models in the literature, the average accuracy best result was 99.21%. In the model for recognizing dynamic gestures, was used information from the hand positions to generate the trajectory of gesture and propose a key frames extraction algorithm, avoiding the repeated use of invariable techniques to time as the Hidden Markov Models (HMM) or Dinamyc Time Warping (DTW). Then, three vectors were generated: the spatial information vectorVSI , the temporal information vector VTI and the vector of hand position changes VHC , which represent global gesture features. Also, the local descriptor SIfT was used in the intensity and depth images for the hands characteristics. As from these characteristics, were generated mid-level attributes using the technique Bag-of-Words (BoW), generating the local characteristics vector. This model was tested using the SVM classifier (Support Vector Machine) using three different databases, generating superior results to other published models in each case (100%, 88.38% and 98.28%)