Sensações Vibrotáteis Programáveis para Realidade Virtual

Dissertação de Mestrado em Engenharia Informática apresentada à Faculdade de Ciências e TecnologiaA realidade virtual tem vindo a crescer nos últimos anos, estendendo-se de áreas de jogos a áreas como medicina. Junto deste crescimento, destaca-se o campo das sensações hápticas. Os dispositivos hápticos surgem como um mecanismo de suporte de interacção para melhorar o realismo dos mundos virtuais. Na maioria das aplicações de realidade virtual, os sistemas auditivos e visuais têm uma presença mais significativa, enquanto que o sistema táctil está ligeiramente ausente. Com os dispositivos hápticos, as aplicações de realidade virtual podem incorporar feedback táctil, oferecendo ao utilizador a capacidade de tocar e sentir objectos num ambiente virtual, dando origem à criação de um grande número de aplicações novas e interessantes. A realidade virtual também tem sido proeminente nos processos de reabilitação de diferentes patologias, tais como o AVC, perda de memória, e lesões da medula espinal. Aqui, damos ênfase às lesões da medula espinal, um dos maiores desafios clínicos da actualidade.Em 2016, um grupo de investigadores apresentou um estudo que resultou em melhorias neurológicas através de um treino intensivo de 12 meses, utilizando interfaces cérebro-computador.Hoje, a equipa TherTactExo, propõem modificações para reduzir o tempo de treino através de um novo protocolo que inclui a realidade virtual associada a diferentes estímulos sensoriais.Este projecto visa desenvolver um editor de padrões vibrotácteis e componentes de realidade virtual para ajudar a equipa TherTactExo na sua investigação. Além disso, este projecto pretende também disponibilizar ferramentas para ajudar projectos que envolvam experiências de realidade virtual com feedback vibrotáctil. Começámos por pesquisar o estado da arte, onde analisámos os editores existentes. Após a sua análise, iniciámos o processo de construção do nosso sistema. Concebemos uma arquitectura baseada numMiddleware que permite que o feedback vibrotáctil seja expresso directamente a partir do editor, bem como através dos componentes de realidade virtual. Este processo resultou no desenvolvimento do Vibrotactile Editor, um editor que apresenta características quepermitem ao utilizador criar padrões vibrotáteis altamente personalizáveis através de umeditor de forma de onda integrado e de uma "timeline" multicanal. Apresentamos também os componentes desenvolvidos para a realidade virtual, nomeadamente os componentes Unity e A-Frame, que permitem ao utilizador criar experiências virtuais onde a interacção do utilizador com estes componentes exprime o feedback vibrotáctil.Virtual reality has been growing in diverse areas in the recent past, ranging from games tothe medical field. Simultaneously with this growth, the field of haptics stands out. Hapticdisplays are emerging as powerful interaction support for improving the realism of virtualworlds. In most virtual reality applications, auditory and visual systems have a moresignificant presence, whereas the tactile system is somewhat absent. With haptic devices,these applications can incorporate tactile feedback, bringing the user the ability to touchand feel objects in a virtual environment, creating many new and exciting applications.Virtual reality has also been prominent in rehabilitation processes for different pathologiessuch as stroke, spatial memory loss, and spinal cord injuries. We emphasize spinal cordinjuries within these pathologies, one of the most significant clinical challenges of today.In 2016, a group of researchers presented a study that resulted in neurological improvementsthrough a 12-month intensive training using brain-machine interfaces. Today, theTherTactExo team proposes modifications to reduce the training time through a new protocolthat includes virtual reality associated with different sensory stimuli.This project aims to develop a vibrotactile pattern editor and virtual reality componentsto assist the TherTactExo team in their research. Besides, this project also intends toprovide tools to help projects involving virtual reality experiences with vibrotactile feedback.We started by researching the state of the art, where we analyzed existing editors.After the analysis, we commenced the process of building our system. We designed anarchitecture based on a Middleware that allows vibrotactile feedback to be expressed directlyfrom the editor as well as from virtual reality components. This process resultedin the Vibrotactile Editor’s development, which introduces features that allow the user tocreate highly customizable vibrotactile patterns through a built-in waveform editor andthe multi-channel timeline. We also present the components developed for virtual reality,namely the Unity and A-Frame components, enabling the user to create virtual experienceswhere user interaction with these components expresses vibrotactile feedback