Räumliche audio-visuelle Integration und ihre Anwendungen

Konzept: Es wird gezeigt, wie der Raumeindruck in computergenerierten Umgebungen durch audio-visuelle Informationen verbessert werden kann. Im Gegensatz zum herkömmlichen Weg, optische und akustische Informationen separat zu behandeln, werden crossmodale Effekte einbezogen. Leistungsfähigkeit und Grenzen audio-visueller Technologien zur Erzeugung künstlicher räumlicher Informationen werden aufgezeigt. Umsetzung: Es wird ein Verfahren zur Integration auditiver und visueller Daten beschrieben, mit welchem Richtungen und Distanzen von Grafik und Audio konsistent wiedergegeben werden. Durch die Wahl zweier Parameter können Breite und Tiefe der akustischen Abbildung an die Grafik angepaßt werden. Die Anpassung wird für einige typische Gerätekonfigurationen erläutert. Die audio-visuelle Integration wurde mit der Entwicklung des "Spatial Audio Servers" umgesetzt. Mit diesem kann über eine geräteunabhängige, netzwerktransparente Schnittstelle die akustische an die grafische Wiedergabe angepaßt werden. Das System liegt in zwei Konfigurationen vor: Als reine Softwarelösung für zwei Ausgabekanäle und als Erweiterung, die mit Hilfe einer Audioworkstation mehrkanalige Lautsprecherausgabe unterstützt. Dies ermöglichte die Entwicklung neuartiger interaktiver Anwendungen. Anwendungen: Eine virtuelle Konferenzumgebung wurde um eine räumliche Audiokomponente erweitert. Die Sprachdaten der Teilnehmer werden so gemischt, daß der Avatar eines Konferenzpartners aus der Richtung zu hören ist, aus der er auch visuell wahrgenommen wird. Die Audioerweiterung verbessert die Unterscheidbarkeit der Teilnehmer und erleichtert dadurch die Kommunikation. Das Paradigma "What you see is what you hear" wurde auch bei der Entwicklung des Systems "Virtuelle Musikproduktion" umgesetzt. Der Benutzer kann ein Musikstück in einer virtuellen Umgebung aufführen. Im Gegensatz zur konventionellen Musikwiedergabe kann sowohl die Position des Zuhöreres als auch die der einzelnen Stimmen interaktiv verändert werden. Im Projekt "Audio-visuelle Telepräsenz" wird mit Daten aus der realen Umgebung gearbeitet. Mit Hilfe eines neuartigen Kamerasystems, dem "Binaural Binocular Head", werden sämtliche Eindrücke per Internet übertragen. Das System besteht aus einem eigens entwickelten Kunstkopf, in den zwei Kameras und zwei Mikrofone integriert sind. Stereoskopische Videos und binauraler Ton vermitteln dreidimensionale Eindrücke. Ausblick: Weitere Anwendungen ergeben sich für realistische dreidimensionale Simulationen (Flug- oder Fahrsimulatoren) sowie für virtuelle verteilte Umgebungen. Auch die Unterhaltungs- und die Spieleindustrie, zwei wichtige Wirtschaftszweige, können von den Ergebnissen dieser Arbeit profitieren