Die Verbildlichung von Klangstrukturen im Kontext der Entwicklung von Werkzeugen für die Medienproduktion

Audio ist einer der wichtigsten Aspekte bei mediengestützten Produktionen. Allerdings sind die Oberflächen zur Suche, Erstellung und Manipulation von Audio häufig getrieben durch die zugrundeliegenden technischen Parameter. Diese Parameter beschreiben in der Regel weder deren Bedeutung für den Sound noch welche Qualitäten im Sound zum Ausdruck kommen. Dadurch bieten solche Oberflächen selten eine intuitive, noch expressive Handhabe, da zuerst ein Übersetzungsprozess von der künstlerischen Idee hin zu den technischen Parametern erfolgen muss. Um die Oberflächen nahbarer und nachvollziehbar zu gestalten, wird daher die Verbildlichung der Strukturen von Sound auf verschiedenen Ebenen betrachtet. Insbesondere wie visuelle Momente zur Interaktion mit Audio genutzt werden können, wird herausgestellt. Auf diese Weise wird die grafische Erweiterung von technischer spektraler Editierung als Beispiel für die direkte Signalverarbeitung diskutiert. Auch werden metaphorische Visualisierungen für Audioeffekte thematisiert. Zudem wird das mentale Modell von Audio analysiert, welches hier assoziativ durch Skizzen als abstrakte visuelle Repräsentationen erhoben wird. Daher wurden Studien zur Erhebung und Bewertung von Skizzen durchgeführt, die je einen Sound abbilden. Aus den resultierenden Skizzenassoziationen ist ein Vorgehen zur Ableitung einer Klassifikation des skizzenbasierten mentalen Modells entstanden. Diese Klassifikation ist ein möglicher Ausgangspunkt für die Entwicklung von Werkzeugen und bietet ein Bewusstsein der Ausdrucksmöglichkeiten beim Einsatz grafischer Assoziationen bis hin zu Affordanzen im Design von Datensätzen für maschinelles Lernen. Denn es wurden auch statistische Zusammenhänge der Kenntnisse der zeichnenden Personen und den verwendeten Skizzenklassen untersucht. Dadurch kann die Art der Abbildung in Bezug zur gewünschten Zielgruppe gewählt werden.Audio is one of the most important aspects of media-based productions. However, the interfaces for searching, creating, and manipulating audio are often driven by the underlying technical parameters. These parameters usually do not describe their meanings for the sound, nor what qualities are expressed in the sound. As a result, such surfaces rarely offer an intuitive, nor expressive way of interacting, since a translation process from the artistic idea to the technical parameters must take place first. In order to make the interfaces more approachable and comprehensible, the visualization of the structures of sound is therefore considered on different levels. In particular, how visualizations can be used to interact with audio will be highlighted. In this way, the graphical extension of technical spectral editing is discussed as an example of direct signal processing. Also, metaphorical visualizations for audio effects are addressed. In addition, the mental model of audio is analyzed, which is here elicited associatively through sketches as abstract visual representations. Therefore, studies were conducted to collect and evaluate sketches, each depicting one sound. From the resulting sketch associations, a procedure for deriving a classification of the sketch-based mental model has been developed. This classification is a possible starting point for tool development and provides an awareness of the expressive possibilities when using graphical associations up to affordances in the design of datasets for machine learning. In fact, statistical correlations of the knowledge of the people drawing and the classes of sketches used were also investigated. This allows to choose the type of illustration in relation to the desired target group