Visualising perceptual features of musical timbre using deep neural networks

La recherche du son idéal dans une bibliothèque contenant des milliers d’échantillons so- nores peut s’avérer une tâche particulièrement ardue. Divers navigateurs multimédias ont été développés pour accélérer le processus de recherche d’échantillons en les affichant à l’aide de diverses techniques de visualisation, tirant parti des corrélations perceptuelles entre les attributs visuels et auditifs. La texture visuelle et le timbre musical présentent de fortes correspondances qui peuvent être utilisées pour informer la visualisation d’échan- tillons musicaux. Toutefois, l’étude des outils de visualisation existants montre que peu de solutions ont été proposées pour visualiser le timbre avec des textures, et ce, en raison de la complexité inhérente de ces deux attributs. Au cours de ce projet de recherche, nous avons développé un navigateur d’échantillons prototype qui permet aux utilisateurs de définir eux-mêmes les règles de visualisation du timbre par l’association d’échantillons musicaux à des images de textures. La solution proposée analyse les échantillons sonores avec un modèle du timbre d’inspiration biolo- gique et se sert d’un réseau de neurones profond pour synthétiser de nouvelles images texturées. Avec cette approche, notre outil peut générer une vignette visuelle unique pour chaque échantillon musical de la bibliothèque en fonction de la conception personnelle de l’utilisateur des relations entre les sons et les images. Afin d’évaluer notre nouvelle approche d’étiquetage visuel des échantillons musicaux, nous avons mené une étude sur l’utilité de différentes méthodes de visualisation dans un exercice de recherche sonore. En comparant notre utilisation des textures à des méthodes de visua- lisation plus courantes telles que les couleurs et les formes, nous avons constaté que notre méthode manquait d’efficacité. Cependant, les limites de notre méthodologie d’étude ne nous ont pas permis d’évaluer le plein potentiel de notre solution, les participants n’étant pas en mesure de définir eux-mêmes les règles de visualisation.Abstract : Modern musical sample libraries contain thousands of synthesized or recorded samples and can be a serious nuisance to those who must search through them in search of the perfect sound. Various media browsers have been developed to accelerate the process of searching for specific samples by displaying them using various visualisation techniques, leveraging perceptual correlations between visual and auditory attributes. Visual texture and musical timbre have strong correspondences that can be used to inform the visualisation of musical samples, however, after surveying existing visualisation tools, we found that due to the inherent complexity of these two attributes, few solutions have been proposed for visualising timbre with textures. In the course of this research project, we developed a prototype sample browser that allows users to define the rules for visualising timbre by associating musical samples with images of textures. Our solution analyses samples with a biologically inspired model of timbre and uses a deep neural network to synthesize new textural images. With this approach, our tool can generate a unique visual thumbnail for each musical sample in the library based on the user’s personal conception of the relations between sounds and images. In order to evaluate our novel approach to visually labeling musical samples, we conducted a study on the usefulness of different visualisation methods in a sound search task. When comparing our use of textures to more common visualisation methods such as colors and shapes, we found our method to be lacking in effectiveness. However, the limitations of our study methodology did not allow us to fully evaluate the potential of our solution, as participants were not able to define the visualisation rules themselves