Robotic device actuation through natural interface in augmented reality

Orientador: Eurípedes Guilherme de Oliveira NóbregaDissertação (mestrado) - Universidade Estadual de Campinas, Faculdade de Engenharia MecânicaResumo: Desde o início da História e particularmente da Revolução Industrial, o homem tem buscado substituir ou complementar sua força de trabalho com dispositivos e máquinas capazes de ampliar a capacidade produtiva ou resolver tarefas para as quais o emprego de força humana não é satisfatório ou é perigoso. Esta necessidade impulsionou, no último século, o desenvolvimento de dispositivos robóticos, que foram se tornando cada vez mais complexos, à medida que a tecnologia avançava. No entanto, quanto mais complexos, mais difícil se torna sua operação. Reduzir a complexidade de operação destes dispositivos sem comprometer sua eficácia é um objetivo desejável e que tem impulsionado significativos esforços de pesquisa ultimamente. Neste trabalho, estudam-se duas tecnologias diferentes que podem ser aplicadas de forma complementar para tornar a operação de dispositivos robóticos mais simplificada. A área de Interfaces Naturais estuda a criação de mecanismos de operação baseados nas formas naturais de interação entre os seres humanos e os computadores, como gestos e fala, visando diminuir a curva de aprendizado para a operação de sistemas complexos, tornando esta uma tarefa intuitiva. A Realidade Aumentada tem entre seus objetivos ampliar o conhecimento sobre uma certa situação ao apresentar a um usuário informações adicionais fornecidas por instrumentação. Para isso, faz uso de técnicas de Computação Gráfica. Também permite criar situações simuladas para avaliar o comportamento de sistemas, ou treinamento para a operação destes sistemas de maneira virtual. Neste trabalho, montou-se um experimento em que um braço robótico será acionado de forma natural, através de gestos do usuário, em um ambiente de Realidade Aumentada. Como transdutor para a captura do movimento do usuário, foi o usado o sensor Kinect¿, que é um equipamento disponível comercialmente com custo relativamente baixo. Foi desenvolvida uma arquitetura que permite o acionamento da plataforma robótica de forma remota, através de comunicação em redeAbstract: Since the beginning of History and particularly of the Industrial Revolution, human beings have sought to replace or supplement their workforce with devices and machines, in order to expand their productive capacity or to solve tasks for which the use of human power is not satisfactory or it is dangerous. This need pushed the development of robotic devices in the last century, which have become increasingly complex as technology advances. However, the more complex it is, more difficult its operation becomes. Reducing these devices operational complexity without compromising its effectiveness is a desirable goal that has driven significant research efforts lately. In this work, two different technologies are studied which can be applied in a complementary way to simplify robotic operation. The area of Natural Interfaces studies the creation of software mechanisms, based on natural forms of interaction between humans and computers, such as gestures and speech, in order to reduce the learning curve for the operation of complex systems, making it more intuitive. Augmented Reality has among its objectives to expand the knowledge about certain situations, presenting to the user additional instrumentation provided information. To accomplish this objective, Augmented Reality makes use of Computer Graphics techniques. It also allows the creation of simulated scenarios to evaluate the behavior of systems, or for virtually training the operators of these systems. In this work, an experiment was set up in which a robotic arm is activated through user gestures in an Augmented Reality environment. As a low cost commercially available equipment, the Kinect¿ sensor is adopted to capture the user's movement. An architecture was developed and tested with auspicious results, implementing the proposed natural interface to interpret the human gestures and to provoke the respective remote activation of the robotic platform through network communicationMestradoMecanica dos Sólidos e Projeto MecanicoMestre em Engenharia Mecânic