Development of Hand-Tracker

Dissertação de Mestrado Integrado em Engenharia Electrotécnica e de Computadores apresentada à Faculdade de Ciências e TecnologiaO sucesso da realidade virtual deriva da sensação de imersão que esta oferece, replicando o mundo real, esta cria artificialmente experiências sensoriais que simulam a presença física de um utilizador. Esta percepção de autenticidade é ainda mais notória quando as acções descritas pelo utilizador são fielmente replicadas neste mundo virtual, especialmente movimentos e interacções que envolvam as mãos. O reconhecimento e seguimento de movimentos detalhados da mão oferece uma solução de controlo que nos é natural e intuitiva, não só em realidade virtual mas em qualquer sistema de interacção homem-computador.A maior parte dos sistemas existentes de seguimento de mãos têm, geralmente, um preço elevado ou apresentam limitações que das duas uma, ou constringem movimentos naturais das mãos ou apresentam um limite no alcance do seguimento. Restringindo desta forma a quantidade de possíveis interacções no ambiente virtual.Neste trabalho propomos uma solução de baixo custo, ergonómica e sem fios utilizando sensores inerciais baseados em sistemas Microelectromecânicos. A nossa solução obtém dados de orientação de sensores como giroscópios, acelerómetros e magnetómetros, utilizando um filtro de fusão sensorial de baixa complexidade. Para garantir o desempenho de sensores inerciais de baixo custo, é feito um estudo sobre o ruído associado a estes sensores, de forma a compor métodos de calibração que reduzam estes efeitos. De forma a obter o seguimento da mão em relação a um sistema de referência local no pulso, no protótipo desenvolvido estes sensores são colocados em pontos específicos da mão. Este sistema de referência local é externamente capturado por um sensor Kinect, adicionando informação relativa à posição do pulso e completando assim a informação necessária para obter a pose completa da mão. O filtro de baixa complexidade desenvolvido, conhecido como Filtro Complementar, é comparado com algoritmos mais conhecidos, mas mais pesados computacionalmente, e o seu desempenho avaliado em relação a um produto comercial de referência na área. Estas experiências demonstram um bom comportamento por parte do Filtro Complementar, com resultados equiparáveis a estes filtros de maior complexidade. Esta implementação possui então requisitos computacionais baixos, sendo possível o desenvolvimento de plataformas onde o poder computacional é limitado.Sendo o objectivo desta solução melhorar as formas de interacção num cenário virtual, com trabalho produzido ao longo desta dissertação, foi desenvolvido um protótipo de seguimento da mão confortável de usar. Com esta nova ferramenta é esperado um aumento da sensação de imersão atingido num ambiente de realidade virtual, sendo possível a utilização intuitiva das nossas mãos.The success of virtual reality comes from the sense of immersion it offers, using realistic sensations to replicate the real world, virtual realities artificially create sensory experiences that simulate a user's physical presence. This sense of authenticity is further extended when the actions made by a user are faithfully replicated in this virtual world, specially hand movements and interactions. The tracking and recognition of detailed hand motions offer a controller solution that is natural and intuitive to us, not only on virtual reality but on any kind of human-computer interaction system.Most existing systems for hand tracking in general are high-cost solutions or exhibit limitations that either hinder the natural hand movements or have limited range of action, constraining the set of possible interactions in a virtual environment.We propose a low-cost, ergonomic and wireless solution based on MEMS inertial sensors. This system fuses orientation data from gyroscopes, accelerometers and magnetometers in a developed low-complexity fusion filter. To guarantee the performance of the low-cost sensors, a study is performed describing the motion sensors used, its disturbances and calibration solutions to mitigate these effects. On the developed prototype, the sensors are placed on specific places of the hand, in order to achieve hand and finger tracking relative to a reference frame on the wrist. This frame is externally captured with a Kinect camera, adding position data for complete information about the hand pose, and the proposed system extends the tracking area providing full hand motion tracking. The developed low-complexity filter, known as a Complementary Filter, is examined in contrast to the more computationally intensive fusion algorithms and the performance evaluation compared to a well-known commercial solution. The results demonstrate that the implementation provides an acceptable accuracy and is even comparable to more complex filters. This implementation is kept with low computational requirements, making it possible to develop a battery-operated/wearable device where computational power is limited.The work developed during this dissertation culminated to a comfortable-to-use prototype solution and intends to provide a supportive tool which extends the set of possible interactions within a virtual reality scenario. This way, we expect to improve a user’s experience in a virtual experience by adding the feeling of full virtual hand ownership