Combinando Kinect e smartphones para rastreamento do movimento do pulso

As interfaces homem/máquina estão cada vez se tornando mais naturais, sendo o Kinect, PlayStation Move e Wii Remote, exemplos dessa evolução. Entretanto, tais interfaces têm suas limitações - o Kinect, por exemplo, não suporta um rastreamento de pulso eficiente; principalmente pela pouca precisão resultante do custo baixo que tal equipamento precisa ter para ser competitivo no mercado. Por outro lado, celulares smartphones já são comumente utilizados pelas pessoas em suas atividades diárias e a maioria destes dispositivos já incorpora vários tipos de sensores como um GPS, acelerômetro, giroscópio, etc. Este trabalho propõe o uso de um dispositivo móvel dotado de sensores acelerômetro e giroscópio, como um smartphone, para incrementar a adicionar o rastreamento dos movimentos do pulso em aplicações e jogos que utilizam o Kinect, a um custo relativamente baixo. O sistema é baseado no uso conjunto de uma biblioteca de desenvolvimento disponível para Kinect e comunicação com dispositivos móveis por via de uma rede Wi-Fi. Um jogo de luta com espadas para dois jogadores foi desenvolvido utilizando o sistema proposto e a plataforma de desenvolvimento de jogos Unity3D. São apresentados os resultados experimentais das medidas da precisão e acurácia do rastreamento do pulso dos jogadores. Uma pesquisa de opinião contando com 27 jogadores participantes indica que a experiência de jogo foi consideravelmente melhorada quando comparada a um sistema usando somente o sensor Kinect. Nem a acurácia limitada dos acelerômetros e giroscópios ou o atraso no tempo devido à conexão wireless foram experienciados pelos jogadores. _________________________________________________________________________________ ABSTRACTThe interfaces between players and machines are rapidly becoming more natural, being Kinect, PlayStation Move and Wii Remote great examples. However, these interfaces still have many limitations - Kinect, as a case, lacks an efficient wrist tracking; mainly due to the poor accuracy resulting from the low cost that such equipment must have in order to be competitive in the market. Smartphones are already commonly used by people in their daily activities, and most of these devices already incorporate various kinds of sensors, such as a GPS, accelerometer, gyroscope, compass, etc. This work proposes the use of a portable device provided with accelerometer and gyroscope sensors, such as a smartphone, to add the efficient tracking of the wrist movements in applications and games that utilize Kinect, at a relative low cost. The system is based on the joint use of a development library available for Kinect and communication with mobile devices via Wi-Fi network. A two player sword fight game was developed using the proposed system and the Unity 3D framework. There are presented the experimental results of the measurement of the precision and accuracy of the tracking of the players’ wrist. An opinion poll with 27 gamers indicates that the gameplay is considerably improved when compared to a system using only the Kinect sensor. Neither the limited accuracy of the accelerometers and gyroscopes nor the delay time of the wireless communication were experienced by the players