Desarrollo de un entorno para la interacción multimodal con diferentes aplicaciones en XHTML+Voice

A lo largo del viaje a través de estas páginas me haré cargo de descubrirles la aplicación que me he esforzado por, no sólo diseñar, sino que sea lo más perfecta posible. Un entorno Web formado por cinco aplicaciones útiles para el usuario capaz de ser manejado completamente por la voz, no sólo mediante el método tradicional de teclado y ratón. Comenzando por el estado del arte y los objetivos que han permitido su creación, pasando por la descripción detallada de todo el entorno y su utilización, hasta llegar a las conclusiones. Una vez inmersos en la descripción del entorno, me permitiré desglosar la aplicación en las cinco aplicaciones de las que se compone, detallando el funcionamiento, diseño, arquitectura, y todas las pruebas usadas de cada una de ellas que han ido limitando los errores hasta reducirlos prácticamente a cero. El presente Proyecto Final de Carrera centrará su atención en el estudio y desarrollo de una aplicación basada en la tecnología que permite la interacción multimodal entre usuario y máquina. La multimodalidad empleada está centrada esencialmente en la interacción oral. Las tecnologías utilizadas están basadas en Sistemas de Diálogo Orales integrados en programas tales como el navegador web Opera, y desarrollados mediante aplicaciones diseñadas mediante lenguajes de programación como XHTML+Voice. La aplicación descrita en este manual se denomina Voice Applications, y compuesta a su vez de cinco módulos: Voice Dictionary, que permite al usuario búsquedas de contenidos en plataformas como Wikipedia; Voice Pronunciations, que favorece y ayuda a ejercitar la pronunciación en lengua inglesa a través de divertidos juegos de palabras e imágenes; Voice Library, con acceso a una base de datos de trescientos libros que pueden ser consultados por el usuario; Voice Videoclub, una completa aplicación de búsqueda de películas en una base de datos con más de novecientas películas; y Voice Google, como un completo, rápido y efectivo buscador web. Todos y cada uno de estos módulos pertenecientes a la aplicación pueden ser manejados por el usuario a través del teclado y ratón, o a través de su propia voz, obteniendo también los resultados mediante la voz. La interacción oral de la aplicación con el usuario permite el acceso a usuarios que no puedan utilizar los tradicionales teclado y ratón, ya sea por comodidad, por obligación, o por necesidad, favoreciendo en este último caso la integración de persona con discapacidades motoras o visuales al mundo de internet, con el objetivo siempre en mente de ayudar a la eliminación las barreras arquitectónicas que lastran el uso de las nuevas tecnologías a determinados sectores de la población. __________________________________________________________________________________________________We will travel through these pages to describe the application that I have designed, and I made the effort to obtain that the application was most perfect possible. This consists of a web environment with five useful applications designed for the interaction with the user by means of the voice, and not only by means of the traditional interfaces like the keyboard or mouse. We begin by the state-of-the-art and the objectives that have made this creation possible, followed by a detailed description of the web environment and its uses, until finishing this document with the conclusions. Once immersed in the environment‟s description, we will detail the five applications that make it up, detailing the main functionalities, how they work, their design, architecture, and the tests that have been used to limite the errors until practically reducing them to zero. This report is then focused on the study and development of an application based on the technology that allows a multimodal interaction between user and machine. The multimodality used in the application is centered in the oral interaction. Technologies used in the application are based on Dialog Systems and the Opera Web Browser, and developed using programming languages like XHTML+Voice. The application described in this report is called Voice Applications, and it is composed by five modules: Voice Dictionary, which allows users to orally search contents in platforms like Wikipedia; Voice Pronunciation, which facilitates exercising the articulation in English through funny games based on words completing and images; Voice Library, which access a database of three hundred books that can be consulted by the user; Voice Videoclub, a complete browser of films using a database with more than nine hundred films; and Voice Google, like a complete, fast and effective Oral Web Browser. All these modules can be interacted with the keyboard and mouse, or by means of the voice, also presenting orally the results. Oral interaction allows the access to Internet for users with motor or visual disabilities, eliminating architectonic barriers that ballast avoids the use of new technologies.Ingeniería Técnica en Informática de Gestió