StableHand VR: a virtual reality serious game for hand rehabilitation

Dissertação de mestrado integrado em Biomedical Engineering Medical InformaticsA third of all injuries at work are sustained to the hand, and hand and wrist injuries are estimated to account between 10% to 30% of all Emergency Department (ED) attendances. In 2017, there were approximately 18 million hand and wrist fractures, 2 million thumb amputations and 4 million non-thumb digit amputations worldwide. Several injuries, disabilities and diseases can affect manual motor control. Hand physiotherapy is indispensable to restore hand functionality. However, this process is often a strenuous and cognitively demanding experience. This work proposes a Virtual Reality (VR) serious game to improve conventional physiotherapy in hand rehabilitation. It focuses on resolving recurring limitations reported in most technological solutions to the problem, namely the limited diversity support of movements and exercises, complicated calibrations, and exclusion of patients with open wounds or other disfigurements of the hand. Concepts such as mixed reality, serious games for health, and hand rehabilitation are addressed in this dissertation to provide the reader with a background for the project. The latest developments of digital games and technologies in the hand rehabilitation field, specifications, requirements, general game characteristics and the most relevant details of the game implementation process are also presented in this dissertation. The system was assessed in two mid-term validations to test its viability and adjust the development. The first validation was performed with eight able-bodied participants and the second with four health professionals working in the rehabilitation field. The validations were performed following ten minutes of guided functional task practices followed by a Semi-Structured Interview for the first validation and an online questionnaire for the second validation. The questions made in the interview and online questionnaire focused on the participants’ familiarity with videogames, opinion about the Oculus Quest and its hand tracking system, and the StableHand VR game. The System Usability Scale (SUS) scores obtained and the participants’ positive feedback showed the potential of both conceptual and technological approaches adopted for this game as a viable complement to conventional hand rehabilitation. The project’s main objectives were achieved, and several relevant topics for further research were identified.Um terço de todos os ferimentos no trabalho afetam a mão e estima-se que 10% a 30% de todos os atendimentos nas Urgências se devem a ferimentos na mão e no pulso. Em 2017, houve aproximadamente 18 milhões de fraturas da mão e do pulso, 2 milhões de amputações do polegar e 4 milhões de amputações de dígitos não polegares em todo o mundo. Vários ferimentos, deficiências e doenças podem afetar o controlo motor manual. A fisioterapia é indispensável para recuperar a funcionalidade da mão. No entanto, este processo é frequentemente uma experiência extenuante e cognitivamente exigente. Este trabalho propõe um jogo sério em Realidade Virtual para melhorar a fisioterapia convencional na reabilitação da mão. O trabalho desenvolvido concentra-se na resolução de recorrentes limitações relatadas na maioria das soluções tecnológicas para o problema, nomeadamente o apoio limitado de diversidade de movimentos e exercícios, calibrações complicadas e exclusão de pacientes com feridas abertas ou outras desfigurações da mão. Esta dissertação aborda conceitos como a realidade mista, jogos sérios para a saúde e reabilitação para fornecer ao leitor contextualização para o projeto. Os últimos desenvolvimentos de jogos digitais e tecnologias no campo da reabilitação da mão são também apresentados nesta dissertação, assim como especificações, requisitos, características gerais do jogo e o processo de implementação do mesmo. O sistema foi avaliado através de dois ensaios realizados durante o processo de desenvolvimento, para testar a viabilidade e proceder a ajustes da solução especificada. A primeira validação foi conduzida com oito participantes saudáveis e a segunda validação com quatro profissionais de saúde que trabalham em reabilitação. As validações foram realizadas após dez minutos de práticas funcionais orientadas, seguidas de uma Entrevista Semiestruturada, no caso da primeira validação, ou de um questionário online, no caso da segunda validação. As perguntas feitas na entrevista e no questionário online centraram-se na familiaridade dos participantes com os videojogos, opinião sobre o Oculus Quest e o seu sistema de localização de mãos e o jogo StableHand VR. As pontuações obtidas no System Usability Scale e o feedback positivo dos participantes demostrou o potencial das abordagens conceptuais e tecnológicas adotadas para que este jogo fosse visto como um complemento viável para a reabilitação convencional das mãos. Os principais objetivos do projeto foram alcançados, tendo também sido identificado um conjunto de tópicos relevantes de investigação futura