Reconocimiento automático de voz en APEINTA desde terminales móviles

El subtítulado en directo para entornos educativos puede transformar la experiencia de estudiantes con discapacidad auditiva en edad escolar o universitaria, es decir, en pleno desarrollo intelectual, al permitir su plena participación en las clases regulares. Por esta razón, mejorar la precisión del reconocimiento de voz debe ser un objetivo prioritario de la comunidad científica a pesar de que en cualquier transcripción hay inevitablemente palabras que siempre se transcriben de forma incorrecta. La operadora de Telecomunicaciones France Télécom España, S.A, solicitó a la Universidad Carlos III de Madrid realizar un estudio de viabilidad acerca de la posibilidad de enviar voz desde un terminal móvil en tiempo real hasta un servidor donde se procesaría el audio para obtener transcripciones a texto. El Centro Español de Subtitulado y Audiodescripción, en colaboración con la Universidad Carlos III, ha decidido incluir este estudio dentro del contexto de su proyecto APEINTA, en vista a las posibles mejoras que este nuevo estudio podría generar en la evolución del proyecto. APEINTA es un sistema de subtitulado automático, en directo y diferido, que utiliza la tecnología del reconocimiento automático del habla para transcribir la voz a texto, de modo que los alumnos con discapacidad auditiva puedan seguir sin dificultad las explicaciones del profesor al leer únicamente texto a través de algún medio visual como smartphones o tabletas. Hasta ahora, la voz del profesor se grababa con un micrófono conectado directamente al servidor de subtitulado de APEINTA. Existe, por tanto, una necesidad de establecer un mecanismo de comunicación alternativo al que actualmente existe entre el profesor y el servidor de subtitulado, con el objetivo de proporcionar soluciones de movilidad para el profesor independientemente de su localización. El presente proyecto fin de carrera se centrará en el estudio de soluciones para precisamente satisfacer esta necesidad y así ofrecer más alternativas de despliegue para el proyecto APEINTA, como la posibilidad de transmitir la voz desde un dispositivo Android por streaming hasta el servidor de subtitulado, el cual utiliza Dragon Naturally Speaking como motor de reconocimiento de voz.Live captioning for educational environments can change the experience of students with temporary or permanent hearing impairment at school or college, allowing them to participate in regular classes. For this reason, to improve the voice recognition accuracy in automatic speech recognition systems should be a priority for the scientific community. Some years ago, the telecommunications operator France Telecom Spain requested a viability study to Universidad Carlos III of Madrid about the possibility of sending voice from a mobile terminal to a server where audio would be processed in real time to obtain text transcriptions. This final project is focused on carrying out the viability study. The Spanish Center for Captioning and Audio description, in collaboration with Universidad Carlos III of Madrid, decided to include this study in the context of APEINTA project, in view of the possible improvements which could lead to APEINTA deployment project for the future. APEINTA is an automatic captioning service, live and recorded, which uses the automatic speech recognition technology in order to transcribe voice to text, so students with hearing disabilities can follow the teacher's explanations without difficulty. To do this, they can read text through a visual medium such as smartphones, tablets, personal computers etc. Before the study presented in this document, teachers needed to be physically connected to the APEINTA server via a microphone in order to capture the audio with enough quality. There is therefore a need to design an alternative communication mechanism between the teacher and the real-time transcription server, with the main objective of providing mobility access to the teacher regardless of their location. This project will focus on the study of solutions to find more alternatives for APEINTA deployment project, as the possibility of transmitting voice from an Android device to the transcription server, which uses Dragon Naturally Speaking as voice recognition engine.Ingeniería Técnica en Sonido e Image