Modular and adaptive control of sound processing

This dissertation presents research into the creation of systems for the control of sound synthesis and processing. The focus differs from much of the work related to digital musical instrument design, which has rightly concentrated on the physicality of the instrument and interface: sensor design, choice of controller, feedback to performer and so on. Often times a particular choice of sound processing is made, and the resultant parameters from the physical interface are conditioned and mapped to the available sound parameters in an exploratory fashion. The main goal of the work presented here is to demonstrate the importance of the space that lies between physical interface design and the choice of sound manipulation algorithm, and to present a new framework for instrument design that strongly considers this essential part of the design process. In particular, this research takes the viewpoint that instrument designs should be considered in a musical control context, and that both control and sound dynamics must be considered in tandem.In order to achieve this holistic approach, the work presented in this dissertation assumes complementary points of view. Instrument design is first seen as a function of musical context, focusing on electroacoustic music and leading to a view on gesture that relates perceived musical intent to the dynamics of an instrumental system. The important design concept of mapping is then discussed from a theoretical and conceptual point of view, relating perceptual, systems and mathematically-oriented ways of examining the subject. This theoretical framework gives rise to a mapping design space, functional analysis of pertinent existing literature, implementations of mapping tools, instrumental control designs and several perceptual studies that explore the influence of mapping structure. Each of these reflect a high-level approach in which control structures are imposed on top of a high-dimensional space of control and sound synthesis parameters. In this view, desired gestural dynamics and sonic response are achieved through modular construction of mapping layers that are themselves subject to parametric control. Complementing this view of the design process, the work concludes with an approach in which the creation of gestural control/sound dynamics are considered in the low-level of the underlying sound model. The result is an adaptive system that is specialized to noise-based transformations that are particularly relevant in an electroacoustic music context.Taken together, these different approaches to design and evaluation result in a unified framework for creation of an instrumental system. The key point is that this framework addresses the influence that mapping structure and control dynamics have on the perceived feel of the instrument. Each of the results illustrate this using either top-down or bottom-up approaches that consider musical control context, thereby pointing to the greater potential for refined sonic articulation that can be had by combining them in the design process.La présente dissertation expose une recherche sur la création de systèmes pour le contrôle de la synthèse et du traitement des sons. Les travaux portant sur le design d'instruments de musique digitaux se concentrent le plus souvent, à juste titre, sur la dimension physique de l'instrument et de l'interface: le design de senseurs, le choix de contrôleurs, l'interaction avec le musicien, etc. Le plus souvent, on fait d'abord un choix particulier de traitement des sons, pour ensuite prendre, à tâtons, au fil d'explorations, les décisions quant à quels paramètres de l'interface physique contrôleront quels paramètres sonores. Prenant le contre-pied de cette tendance, le but principal du présent travail est de démontrer l'importance de l'espace qui se situe entre le design d'interface physique et le choix d'algorithmes de manipulation sonore, et de présenter un nouveau cadre pour le design d'instruments qui prend mieux en considération cette part essentielle du processus de design. Plus précisément, cette recherche adopte le point de vue selon lequel le design d'instruments devrait partir d'un contexte de contrôle musical, et que le contrôle et les dynamiques sonores devraient être considérées en tandem.Pour réaliser cette approche holiste, les différents travaux présentés dans cette dissertation adoptent des points de vue complémentaires. À partir du cas de la musique électroacoustique, le design d'instrument est d'abord vu comme fonction du contexte musical. Cette idée permettra une compréhension des gestes qui lie l'intention musicale perçue aux dynamiques d'un système instrumental. Le concept important de "mapping" est ensuite examiné d'un point de vue théorique et conceptuel, en mettant en relation des approches perceptuelles, systémiques et mathématiques de ce sujet. Seront élaborés à partir de ce cadre un espace de design de mapping, une analyse fonctionnelle de la littérature pertinente, l'implémentation d'outils de mapping, des designs de contrôle d'instruments, et plusieurs études perceptuelles qui explorent l'influence de la structure de mapping. Chacune de ces études reflète une perspective de haut niveau dans laquelle les structures de contrôle sont superposées à un espace de contrôle et de paramètres de synthèse sonore de hautes dimensions. Selon cette perspective, les dynamiques gestuelles et les réponses sonores désirées sont obtenues à partir d'une construction modulaire de couches de mapping qui sont elles-mêmes sujettes à un contrôle paramétrique. En complément à cette conception du processus de design, ce travail est conclu avec une approche selon laquelle la création de contrôles gestuels et de dynamiques sonores sont considérés au bas niveau du modèle sonore sous-jacent. En résulte un système adaptatif spécialisé pour les transformations basées sur le bruit, particulièrement pertinentes dans le contexte de la musique électroacoustique.Ensemble, ces différentes approches au design et à l'évaluation résultent en un cadre unifié pour la création d'un système instrumental. Le point essentiel est que ce cadre répond à l'influence des structures de mapping et des dynamiques de contrôle sur la sensation perçue de l'instrument. Chacun des résultats illustrent cela par une approche de haut en bas ou de bas en haut qui considère le contexte de contrôle musical, illustrant ainsi le plus grand potentiel d'articulation sonore qui peut être obtenu en les combinant dans le processus de design