Estudio y desarrollo de interfaces sensitivas de realidad virtual y aumentada para invidentes en dispositivos portátiles

La visión es el principal sentido usado por el ser humano para comprender el mundo que le rodea, para realizar actividades diarias, contemplar la naturaleza, deleitarse del arte y relacionarse. Por tanto, cuando este sentido se ha deteriorado en gran medida por alguna enfermedad o accidente, o en peores circunstancias se pierde en su totalidad en el nacimiento o al envejecer, las personas se vuelven vulnerables, dependientes e inseguras para trabajar, socializar o salir por su propia cuenta. Las tecnologías actuales pueden brindar apoyo para que las personas ciegas sean capaces de explorar el mundo por sí mismos, aumentando su independencia y capacidad de decisión. Las habilidades de las personas ciegas para la comprensión de su entorno y las dificultades que enfrentan a la hora de visitar un nuevo lugar inspiraron y se consideraron durante el desarrollo de este trabajo. Se contó con la colaboración de un grupo invidentes, que con el apoyo de la ONCE y el auspicio de la Cátedra Indra-Fundación Addeco, decidieron participar voluntariamente en el proyecto e-Glance y ayudar al ajuste y optimización de las aplicaciones acorde de sus necesidades y requerimientos. El presente trabajo tiene como objetivo analizar las interfaces sensitivas que más contribuyen en la comunicación entre el usuario y las aplicaciones, de manera que se optimice la adquisición del conocimiento espacial de un entorno desconocido. Mediante la implementación de aplicaciones móviles de realidad virtual y aumentada en teléfonos inteligentes y tabletas, se pretendió analizar cuáles de las interfaces propuestas fueron consideradas las más útiles y usables por los participantes. Debido al sinnúmero de aplicaciones ya existentes y el volumen de datos requeridos para la descripción de navegación por exteriores se decidió optar por la navegación por interiores, que es un tema más reciente y necesita más investigación. Al inicio de este trabajo se estudió el uso de las interfaces sensitivas durante la exploración anticipada a espacios interiores desconocidos utilizando aplicaciones de realidad virtual y aumentada. Después, se extrapoló el estudio a la navegación por interiores desconocidos en tiempo real. Intentamos con este estudio ser un referente para quienes opten por desarrollar otros sistemas que fomenten la independencia y el desarrollo personal y profesional de las personas ciegas o con severas limitaciones visuales. Con la finalidad de adaptar las soluciones desarrolladas a las necesidades de los usuarios se desarrollaron ocho talleres. En este estudio participaron veinte voluntarios ciegos y cinco de baja visión; se emplearon registros de observación y videos, previo el consentimiento de los participantes. Se evaluó la eficiencia, eficacia y utilidad de las interfaces implementadas mediante el uso de aplicaciones de realidad virtual y aumentada, y además mediante cuestionarios post-test. Los participantes pudieron valorar la usabilidad de la herramienta y recomendar cambios en la forma que el sistema entregaba la información. Durante estos talleres se detectaron fallos no observados durante la construcción de la aplicación, que permitieron modificar y optimizar el código. Se utilizó comunicación Wi-Fi y Bluetooth como medios de conexión con los dispositivos conexos y el servidor externo. Un sensor láser e infrarrojo fue empleado como sistema de rastreo para el seguimiento de la posición de usuario. Unas balizas de proximidad como dispositivos complementarios se emplearon para minimizar el error de deriva que se acumula durante el seguimiento del usuario. El software usado en el desarrollo de las aplicaciones fue Unity 3D, y para el almacenamiento de datos MySQL. Durante el primer taller se determinó la información personal, las capacidades técnicas de los participantes y breves indicios en lo que respecta a la información sobre objetos cercanos y objetos fuera del alcance del bastón. En el segundo taller se definieron las características generales de una aplicación de visita virtual. Durante los siguientes tres talleres se estableció una metodología que permitió construir y probar las aplicaciones de realidad virtual y aumentada con interfaces sensitivas modificables. Se seleccionaron patrones de voz, sonido, vibración y gestos que conformaron las interfaces sensitivas de la aplicación; también se crearon tres métodos para adquirir la información del entorno que conformaron las interfaces cognitivas empleadas en visitas virtuales anticipadas. En el sexto taller se introdujeron sonidos 3D en las aplicaciones con objeto de determinar si las respuestas auditivas virtuales generadas en Unity eran efectivas. Se emplearon respuestas auditivas lineales, logarítmicas y personalizadas, usando como información la voz femenina, el pitido de 440Hz y el sonido de un instrumento musical. En el séptimo taller se pidió a cinco participantes evaluar la herramienta de exploración final, sin resultados concretos por inobservancia en el entrenamiento programado. En el octavo taller se evaluaron las aplicaciones de realidad aumentada como ayudas de navegación a través de un laberinto usando rutas pre-establecidas. El objetivo fue evaluar la influencia de las interfaces sensitivas en la reducción de la carga cognitiva de los participantes y en la eficiencia de la navegación. Los resultados obtenidos indicaron que durante la exploración de proximidad, una velocidad aumentada en la reproducción de la voz, distancias expresadas en metros, frecuencias iguales o inferiores a los 500Hz en la interfaz de pitidos y gestos simples sobre la pantalla táctil, mejoraron la efectividad y eficacia del proceso de exploración. Además, se determinó que los sonidos 3D con respuesta personalizada en donde se usa el pitido como fuente para la localización de objetos y estructuras, y la voz para brindar información complementaria, mejoraron la precisión en la localización de puntos objetivos. También se usó el pitido y la voz como interfaces sensitivas para la navegación guiada, que logró reducir la carga mental de los usuarios con leve pérdida cognitiva en un 70% y un aumento en la eficiencia del 50%. El desarrollo de esta investigación podría extenderse a grupos más complejos y numerosos de personas con severas limitaciones visuales, y posiblemente a personas mayores con leve desorientación espacial o pérdida cognitiva. ----------ABSTRACT---------- Sight is the main sense used by humans to understand the world around us and delight in nature, art and family. It greatly impacts the way we perform our daily activities, so when it gets deteriorated to a significant extent by some illness or accident, or in worse case scenarios it is completely lost at birth or during life, the victims become vulnerable, dependent and face insecurities at work, socializing or with something as simple as taking care of themselves. Blind people’s abilities to understand their environment and the acknowledgment of the difficulties they face when visiting a new place have inspired this work and guided its development. For this, smartphone applications have been built, adjust and optimized to the needs and requirements of the group of blind participants, who with the support of the ONCE and the sponsorship by the Indra-Fundación Addeco Chair, decided to participate voluntarily in the e-Glance project. The objective of this research is to analyze the sensitive interfaces that contribute the most to the user – application communication for the acquisition of spatial knowledge of an unknown environment. With this in mind, mobile virtual and augmented reality applications were implemented in smartphones and tablets, and later it was evaluated by the participants which of these interfaces were the most useful, effective and efficient. A lot of work on outdoor navigation has been done and the volume of data required for its description is sizable, so this work focused on the much recent research topic of indoor navigation. At the beginning of this study the team investigated the use of sensitive interfaces to explore in advance unknown interior spaces using virtual reality applications; the goal was to determine if its results could be extrapolated to navigation through unknown interiors in real time. Hopefully this study can become a reference for those who choose to develop other systems that promote the personal independence and professional development of people with blindness or with severe visual limitations. Eight workshops took place so the developed solutions could be tested and adapted to users’ needs. Twenty blind and five low vision participants volunteered and consented to be video recordings. The efficiency, effectiveness and usefulness of the implemented interfaces were evaluated through the use of virtual and augmented reality applications and also through post-test questionnaires. Participants evaluated the tool’s usability and provided feedback on better ways for the system to deliver information. Furthermore, during these workshops also aided to the detection of failures not observed during the construction of the application, which in turn allowed modifying and optimizing the program’s code. Wi-Fi and Bluetooth communication was used as means of connection between the selected devices and the external server. Laser and infrared sensors were used as tracking systems to provide the user's position; some proximity beacons worked as complementary devices to minimize the drift error that accumulates while tracking the user. The software used in the development of the applications was Unity 3D and MySQL for storage purposes. During the first workshop the technical skills of the participants were determined, later they contributed input as how they wanted to be alerted of objects that were close to their position and objects beyond the reach of the white cane. In the second workshop the general characteristics of a virtual journey application were defined. During the following three workshops a methodology on how to build and test virtual reality applications with modifiable sensitive interfaces was defined. Voice, sound, vibration and gesture patterns were selected as the possible sensitive interfaces; also three methods were created to acquire the information of the environment that constituted the cognitive interfaces used in previous virtual visits. In the sixth workshop 3D sounds were introduced to the applications as to determine if the auditory responses generated by Unity were effective. Linear, logarithmic and personalized auditory responses were employed using as information a female voice, a beep of 440Hz and the sound of a musical instrument. In the seventh workshop five participants were asked to evaluate the final exploration tool, no concrete results were obtained because of non-observance of the programmed training. In the eighth workshop the results of workshop VI were utilized to make the participants evaluate the augmented reality application as a navigation aid through a maze; the aim was to evaluate the influence of sensitive interfaces at reducing the participants’ cognitive load. This work proposes a set of the necessary sensitive interfaces to provide accurate, continuous and efficient information of objects and interior structures of a controlled environment, so that users can spatially represent the environment and navigate through it with greater independence and security. The obtained results indicate that the effectiveness and efficiency of proximity exploration can be improved through: an increased speed in voice reproduction, distances expressed in meters, frequencies equal to or lower than 500Hz in the beep interface and simple gestures on the touch screen. It was also determined that accuracy in the location was enhanced when the voice was used to provide complementary information and a beep was used as a 3D sound response to locate objects and structures. When using a beep and voice as interfaces for navigation it was possible to reduce the cognitive load of users with slight spatial disorientation by 70% and an increase in efficiency of 50%. The development of this research could be extended to more complex and numerous groups of people with severe visual limitations and possibly to elderly people with mild spatial disorientation or cognitive loss