CALIMACO: application of multimodal dialog systems and mobile devices to provide enhanced library services

In recent years smart mobile devices have bolstered new interaction scenarios that require more sophisticated human-machine interfaces. The leading developers of operating systems for these devices now provide APIs (Application Programming Interface) for developers to implement their own applications, including different solutions for developing graphical interfaces, control sensors and providing oral interaction. Despite the usefulness of these resources, defined strategies are still needed for developing multimodal interfaces to take greater advantage of these devices for identifying and meeting the needs of users. Currently, these applications are typically ad-hoc and facilitate oral communication only through simple commands. In this paper we propose the practical application of context-sensitive multimodal conversational agents to provide advanced library services that dynamically consider specific user needs and preferences, as well as the specific characteristics of the environment in which the interaction occurs. Such agents would improve and customize the service provided by a mobile device with Internet access. Our proposal integrates features of Android APIs on a modular architecture emphasizing the management of interactions and context awareness in order to create robust applications that can be easily updated and adapted to the user.Los dispositivos móviles inteligentes han fomentado en los últimos años nuevos escenarios de interacción que requieren interfaces persona-máquina más sofisticados. Los principales desarrolladores de sistemas operativos para estos dispositivos proporcionan actualmente APIs (Application Programming Interfaces) para que los desarrolladores puedan implementar sus propias aplicaciones, incluyendo diferentes soluciones para el desarrollo de interfaces gráficas, el control de sensores y proveer interacción oral. A pesar de la utilidad de este tipo de recursos, no se han definido aún estrategias para desarrollar interfaces multimodales que aprovechen las posibilidades que ofrecen estos dispositivos para identificar y adaptarse a las necesidades de los usuarios. De este modo, las aplicaciones suelen desarrollarse ad-hoc y la interfaz oral posibilita únicamente la comunicación mediante comandos simples. En este artículo proponemos la aplicación práctica de agentes conversacionales multimodales sensibles al contexto para proporcionar servicios bibliotecarios avanzados que incorporen dinámicamente necesidades específicas del usuario y sus preferencias, así como las características específicas del entorno en el que se produce interacción, con el fin de mejorar y personalizar el servicio que se proporciona mediante un dispositivo móvil con acceso a Internet. Nuestra propuesta integra funcionalidades de APIs de Android en una arquitectura modular que enfatiza la gestión de la interacción y la sensibilidad al contexto para crear aplicaciones robustas, de fácil actualización y adaptadas al usuario.Trabajo parcialmente financiado por los proyectos MINECO TEC2012-37832-C02-01, CICYT TEC2011-28626-C02-02, CAM CONTEXTS (S2009/TIC-1485)