Smart augmented reality application for enhanced museum experience

Dissertação de mestrado, Engenharia Eléctrica e Electrónica, Instituto Superior de Engenharia, Universidade do Algarve, 2017Museums’ collections can be almost endless, with countless objects, making it challenging to choose which ones to visit and appreciate. When a user enters a museum he usually encounters a guide or a predefined route to aid him, which more often than not is not suitable for his necessities and preferences. This dissertation focus on developing a mobile augmented reality framework and intelligent multiplatform application, that can be used as a museum guide and navigation helper. The work was divided into 3 main modules: (a) an intelligent routing system, (b) an adaptive user interface, and (c) an image recognition and augmented reality framework. Also presented is the integration of the above modules in an application. The first module, (a) intelligent routing system module, poses a solution for a "typical" museum problem. Museums routes do not take into account the physical, moral or psychological limitations of a user and/or their preferences. It resembles the traveling salesman problem where a route is calculated, only visiting once each point of interest, diminishing as much as possible the "walking" time, and extending the time spent admiring the museum’s objects. An Ant Colony Optimization algorithm was used to handle the calculations and compute an optimal walk, rendering the user’s preferences and limitations. This problem was formulated as a multi-criteria optimization problem. Also focusing on adapting the application for the user, (b) an adaptive user interface was developed, which adapts the application’s user interface on-thefly, according to the user’s preferences and conditions. This module is built upon a modular card system which is divided into structure and contents. It relies on a modular system in the sense that a complex interface can be divided into simpler and more manageable sub-modules, which can be used in other parts of the application or even in a completely different one. On an ideal application, each user would have a distinct interface/structure and contents. Nonetheless, different users could share the same interface structure only modifying the contents. The adaptive user interface is capable of (as the name implies) adapting itself to the user, either by changing both its structure and contents or only the contents displayed to the user. Regarding the augmented reality module (c), a mobile image recognition and tracking framework (MIRAR) was developed. The purpose of this framework is to recognize and track the innumerous objects of the museum in a mobile device. This framework is a marker-based augmented reality framework and even though the recognition happens on the client (mobile device) a server is required to keep the packaged markers accessible for the clients. These markers are preprocessed in the server and grouped by section. As the user navigates through the museum, an indoor beacon location system calculates his current position that is transmitted to the server which, in turn, sends the correct markers for that section to the mobile device. Finally, the integration of the above modules is presented in an alpha version of a mobile application, as well as tests and results for each module.Os espólios dos museus contêm inúmeros objetos, tornando-se difícil escolher quais as obras a visitar e apreciar. Quando um utilizador entra num museu, geralmente depara-se com um guia e/ou rotas predefinidas, que frequentemente não são adequadas às suas necessidades e preferências. Esta dissertação foca o desenvolvimento de uma framework de realidade aumentada e de uma aplicação inteligente para multiplataforma, que pode ser usada como guia de museu e auxiliar de navegação. O trabalho foi dividido em 3 módulos principais: (a) um sistema de cálculo de rotas inteligentes, (b) uma interface adaptativa de utilizador e (c) uma framework de reconhecimento de imagens com realidade aumentada. Também é apresentada a integração dos módulos acima mencionados numa aplicação. O primeiro módulo, o (a) módulo do sistema de cálculo de rotas inteligentes, representa uma solução para um problema "comum" dos museus: as rotas existentes nos museus não tomam em consideração as limitações físicas, morais ou psicológicas do utilizador e/ou suas preferências. O problema em causa consiste em calcular uma rota, visitando uma e só uma vez cada ponto de interesse existente (mas não necessariamente todos os disponíveis no museu), percorrendo o menor caminho possível, e estendendo ao máximo o tempo de visita aos objetos do museu. Neste caso, foi usada uma adaptação de um algoritmo de Ant Colony Optimization para calcular o melhor caminho, considerando as preferências e limitações do utilizador. Este problema foi formulado como um problema de otimização multi-critério. Ainda nesta temática, (b) foi desenvolvida uma interface adaptativa de utilizador, que se ajusta de acordo com as preferências e condições deste. Este módulo é constituído por um sistema modular de cartões os quais são dividido em estrutura e conteúdos. Foi escolhido este sistema pois permite que uma interface complexa possa ser dividida em sub-módulos mais simples, que podem ser usados noutras partes da aplicação ou mesmo noutra aplicação completamente distinta. Idealmente, cada utilizador teria uma interface com estrutura e conteúdos distintos. No entanto, diferentes utilizadores podem partilhar a mesma estrutura/layout apenas modificando o conteúdo apresentado. Assim, este modulo permite criar facilmente diferentes interfaces para os diferentes utilizadores, quer modificando apenas os conteúdos apresentados ou também toda a sua estrutura. Relativamente ao módulo de realidade aumentada (c), foi desenvolvido uma framework de reconhecimento de imagens com realidade aumentada (MIRAR - Mobile Image Recognition and Augmented Reality) para dispositivos móveis. O objetivo deste módulo é reconhecer e fazer o restreamento dos objetos do museu recorrendo ao dispositivo móvel do utilizador. A framework desenvolvida é baseada no reconhecimento de marcadores e apesar deste acontecer no cliente (dispositivo móvel) é necessário um servidor para guardar os marcadores préprocessados. Estes são, posteriormente, acedidos pelos dispositivos móveis à medida que os utilizadores navegam pelo museu. A localização do utilizador dentro do é calculada através de um sistema de beacons bluetooth a qual é transmitida para o servidor, que, por sua vez, envia os marcadores correspondentes a essa localização para o dispositivo do utilizador. Finalmente, a integração dos módulos supra-mencionados é apresentada numa versão alfa da aplicação móvel, bem como testes e resultados para cada módulo