An infrastructure for the design of musical interaction with everyday mobile devices

Esta tese de doutorado tem como base uma pesquisa exploratória que investigou as possibilidades e os elementos envolvidos na utilização de dispositivos móveis de consumo (consumer mobile devices) como ferramentas para atividades musicais. Dispositivos móveis comuns de informação e comunicação – telefones celulares, smartphones e computadores de mão – têm incorporado cada vez mais funcionalidades através do fenômeno da convergência, e tendem a se tornar plataformas de computação móvel genérica. Neste sentido, seu uso na música já vem sendo investigado por outros pesquisadores, tendo sido inclusive proposta uma área própria de pesquisa denominada Mobile Music (música em dispositivos móveis). Entretanto o tema ainda é emergente, justificando a abordagem exploratória adotada aqui. Os trabalhos existentes apresentam soluções específicas, havendo a necessidade de uma proposta de organização de conceitos gerais e de fundamentação para o design de interação nesta área. Do ponto de vista da área de Interação Humano-Computador, um problema central neste contexto é como realizar o design de interação de um sistema para atividades musicais que envolve dispositivos móveis não-específicos, ou seja, que não foram projetados originalmente para tarefas musicais. É o que identificamos neste trabalho como o problema do “reaproveitamento de dispositivos” (device repurposing). A solução envolve não modificar os dispositivos, e sim encontrar maneiras próprias e variadas (alternativas) de manipular dados e informações musicais utilizando os recursos já existentes nos aparelhos. Além disso, o design da interação musical não deve considerar apenas o paradigma instrumental – baseado na interação com instrumentos musicais tradicionais – mas sim incluir no espaço de design outros paradigmas de interação, muitos deles originados e já adotados na área de Computação Musical. Neste trabalho, esses diversos paradigmas ou formas de interação musical são identificados e formalizados como proto-patterns de interação. A coleta e o refinamento dos patterns foi possível por meio de uma metodologia exploratória baseada na experiência de desenvolvimento de vários protótipos musicais móveis, e que incluiu também uma extensa revisão bibliográfica e a análise de sistemas existentes. O resultado deste processo foi organizado na forma de uma infraestrutura composta por conceitos e princípios, patterns de interação e ferramentas para o apoio ao design de sistemas interativos musicais envolvendo dispositivos móveis de consumo.The present thesis is an exploratory research on the possibilities and on the elements that may be relevant for making use of consumer mobile devices as tools for musical activities. Ordinary mobile information and communication devices – cell phones, smartphones, and PDAs – have been integrating more and more functionalities as a result of the “convergence” phenomenon. Today, these devices also tend to become generic mobile computing platforms. In this sense, their use in musicmaking is already being studied by other researchers, and even a specific research field has been proposed, called Mobile Music. Nevertheless, this topic is still emergent, which is the reason for adopting an exploratory approach in this thesis. Current papers tend to present particular solutions, and thus there is a need for proposals that deal with organizing general concepts, and also with the foundations for interaction design within this new field. From the perspective of Human-Computer Interaction, a basic problem in such context is how to carry out the interaction design of a system for musical activities which involves non-specific mobile devices. That is, these devices were not originally designed for musical tasks. This is what we identify in this work as the “device repurposing” problem. The answer lies not on adapting the device, but on finding unique and multiple (i.e., alternative) ways to manipulate data and musical information by using the features that the devices already provide. Additionally, musical interaction design should not consider just the instrumental paradigm – based on interaction with traditional musical instruments – but should also include other interaction models in the design space, most of which are well-known in the Computer Music domain. In this thesis, those various models or paradigms of musical interaction are identified and formalized as interaction design proto-patterns. Collecting and refining these patterns was made possible through an exploratory methodology, based on the experience of developing several mobile music prototypes, and which also included an extensive literature review and the analysis of existing systems. The product of this research was combined into an infrastructure, composed of concepts and principles, interaction design patterns, and tools, to support the design of interactive musical systems which involve consumer mobile devices