A framework for interactive three-dimensional sound and spatial audio processing in a virtual environment

Immersive virtual environments offer the possibility of natural interaction within a virtual world that is familiar to users because it is based on everyday activity. The use of such environments for the representation and control of 3-D sound remains largely unexplored. We propose a novel paradigm for interacting with sound and using virtual space as the medium for spatial audio processing. A supporting software framework has been developed that provides functionality not available in other 3-D audio systems, including powerful control over the directivity of sound and the ability to bend the rules of physics for musical purposes. These features provide the necessary tools to create virtual scenes for audio engineering, musical creation, listening, and performance. Tracking technology allows the use of gesture-based interaction techniques to control the environment, resulting in many possibilities for novel applications.Les environnements virtuels immersifs peuvent procurer une interaction naturelle au sein d'un monde virtuel qui soit familière aux usagers car ils sont basés sur des actions de tous les jours. L'utilisation de tels environnements pour la représentation et le contrôle de sons 3-D reste largement inexplorée. On propose un nouveau paradigme pour l'interaction avec le son et l'utilisation d'un espace virtuel comme instrument pour le traitement spatial du son. Une architecture logicielle procurant des fonctionnalité qui ne sont pas disponibles dans d'autres systèmes pour sons 3-D a été développée, offrant un contrôle puissant sur la direction du son et la capacité de déformer les règles de la physique dans des buts musicaux. Ces fonctionnalités procurent les outils nécessaires pour créer des scènes virtuelles pour l'ingénierie du son, la création, l'écoute et l'interprétation musicale. L'utilisation de technologies de suivis de mouvements permet l'utilisation de techniques naturelles basées sur les gestes pour le contrôle de l'environnement, ce qui ouvre la voie à plusieurs nouvelles applications