Diseño e implementación de un sistema de reconocimiento vocal a través de información RGB-D

Actualmente, los estudios e investigaciones en el ámbito de la robótica social asistencial van en aumento debido a la necesidad latente de sistemas de ayuda y asistencia para personas con necesidades especiales. En este contexto, el proyecto RobAlz busca introducir un robot social como elemento asistencial durante las terapias de enfermos de Alzheimer o con otros tipos de demencia. La terapia vocal es una de las tareas a cubrir para el tratamiento de estas personas. A través de ejercicios de pronunciación de sílabas o palabras cortas, el robot debe ser capaz de asistir al terapeuta para facilitar las sesiones con los enfermos. Por ello, en este proyecto se pretende diseñar e implementar un sistema de reconocimiento visual de vocales mediante la fusión de información 2D y 3D. De esta forma se dispondrá de un sistema alternativo, o complementario, al reconocimiento de voz, que sea capaz de cubrir los casos en los que los sistemas ya integrados obtienen resultados poco fiables, además de apoyar las funciones de logopeda para preservar la vocalización. El sistema desarrollado es capaz de recibir los datos 2D y 3D cap-tados por el sensor Microsoft Kinect, detectar la cara del usuario y extraer los puntos que forman la boca, para emparejar esta información en 2D con la información recibida en 3D. Una vez unificada la información de la imagen, el sistema realiza la clasificación de los valores mediante un clasificador ya entrenado, para asignar la vocal que más se ajuste a los datos captados.Nowadays, the assistance has gone grown by the basic need of care and assistance systems for people with special necessities. In this context, the RobAlz project looks for introduce a social assistance robot into the therapies of Alzheimer’s patients or other kinds of dementia. The vocal therapy is one of the tasks to cover for the treatment of these people. Using exercises of pronunciation of syllables or short words, the robot should assist the therapist to ease the sessions with this patients. For this, this project pretends to design and implement a system for visual recognition of vowels using the fusion of information in 2D and 3D. Thus it’s available of an alternative system, or complementary, for the voice recognition, able to cover the cases in which the integrated systems obtain results less reliable, also for help the functions of speech therapies. The developed system is able to receive the 2D and 3D data from the sensor Microsoft Kinect, find the face of the user and extract the mouth points, for match the information in 2D with the 3D points. Once unified the data of the image, the system classified this with a trained classificator, for obtain the vowel that more adjustment to the received information.Ingeniería Informátic