Multimodal interaction of robotic devices in a simulated environment

Dissertação de mestrado integrado em Engenharia e Gestão de Sistemas de InformaçãoA utilização de dispositivos robóticos tem sofrido um aumento nos últimos anos e cada vez mais, estes servem também a população de indivíduos que necessitam de ajudas técnicas. O trabalho científico proposto teve como principal objetivo o desenvolvimento de plataformas de interação multimodal de dispositivos robóticos em ambiente simulado. Serão apresentados cenários nos quais é possível interagir com uma Cadeira de Rodas Inteligente (CRI) de forma a testar o controlo da condução deste robot através de uma interface multimodal adaptável ao utilizador. Para além disso, será implementado e testado um robot que representa uma rampa de arremessos do desporto Paralímpico “Boccia”, a Rampa Robótica Inteligente (RRI), para que os praticantes portadores das mais diversas patologias físicas e psicológicas, possam praticar este desporto de uma forma mais autónoma. Terá maior enfâse sobre a categoria BC3, na qual os seus praticantes têm um nível de dependência muito elevada, tendo estes a necessidade de recorrer ao seu treinador e a uma plataforma de lançamento (rampa) para poderem efetuar as suas provas. O simulador consistirá na representação de um campo, com bolas similares às de Boccia, uma plataforma de arremesso da bola, um ponto de localização para a rampa e 3 objetos alvo, cujo objetivo é serem arremessadas com sucesso contra os objetos alvo. A rampa será um robot que se deslocará segundo as ordens do utilizador, colocando-se na posição e direção que o utilizador pretender. O foco principal será na capacidade do utilizador gerir da forma mais autónoma quanto possível a rampa de lançamento e a sua cadeira. O sistema estará dotado de uma interface multimodal, a qual permite ao utilizador criar o seu perfil de utilização mais apropriado. O seu perfil será baseado nos sentidos que este tem maior controlo, e lhe permite uma comunicação mais eficaz com o simulador. Para tal, a interface multimodal é versátil e dispõe de vários tipos de dispositivos de entrada, como, por exemplo, o joystick, comandos de voz, expressões faciais e movimentos da cabeça. O simulador foi testado e validado através de um conjunto de experiências com indivíduos sem constrangimentos físicos e psicológicos. As experiências realizadas permitiram validar todo o trabalho desenvolvido, permitindo obter resultados significativas ao nível de usabilidade e opinião sobre a experiência do utilizar com o simulador. De forma geral a grande maioria dos utilizadores obteve resultados de sucesso nas suas experiências o que permite concluir que a solução proposta é eficiente, eficaz e robusta.In the last years the use of robotic devices has been increased and they also serve the population of individuals who need assistive technologies. The proposed scientific work aimed to the development of multimodal interaction platforms of robotic devices in a simulated environment. The Scenarios presented allow what a user interact with an Intelligent Wheelchair (IW) in order to test this robot driving control through an adaptive multimodal interface to the user. Furthermore, it will be implemented and tested a robot representing a ramp sports pitches Paralympic "Boccia" Ramp Intelligent Robotics, so that the carriers practitioners of the various physical and psychological disorders, to practice this sport in a more autonomous way. Will have greater emphasis on the BC3 category, where its practitioners have a very high level of dependency, who have the need to resort to his coach and a launch pad (ramp) in order to make their evidence. The simulator will consist of the representation of a field with similar balls to Boccia, a ball of pitch platform (RRI), a tracking point for the ramp and 3 target objects, which aims to be thrown successfully against the target objects. The ramp will be a robot that will move according to the user's orders, putting yourself in the position and direction that you want. The main focus will be on the user's ability to manage as independently as possible the launch pad and its chair. The system is provided with a multi-modal interface, which allows the user to create his most appropriate usage profile. Your profile will be based on the senses that this has more control, and allows you to communicate more effectively with the simulator. To this end, multimodal interface is versatile and offers various types of input devices, such as the joystick, voice commands, facial expressions and, head movements, etc. The simulator has been tested and validated through a series of experiments with subjects without physical and psychological constraints. The experiments allowed validate all the work, allowing to obtain meaningful remarkable results in terms of usability and experience with the simulator. In general, the vast majority of users obtained successful results in their experiments leading to the conclusion that the proposed solution is efficient, effective and robust