Multimodalna korespondencja między barwą dźwięku a kształtami

Eksperyment dotyczy audio-wizualnej korespondencji między dźwiękami oraz kształtami. W oparciu o wcześniejsze badania został przeprowadzony eksperyment rozszerzający wcześniejsze odkrycia. Większość badań skupiała się na bardzo prostych albo bardzo różnych dźwiękach. W tym eksperymencie zostały wykorzystane 4 dźwięki różniące się tonem podstawowym oraz stopniem przesycenia w zestawieniu z 2 kształtami różniącymi się stopniem skomplikowania. Każdy z 32 dźwięków był prezentowany wraz z 16 kształtami. Badani musieli wybrać który kształt pasuje do prezentowanego dźwięku. W taki sposób możliwe było do sprawdzenia czy małe różnice w barwie dźwięku będą wpływać na wybór kształtów. W badaniu online wzięło udział dwadzieścia dziewięć osób (17 kobiet oraz 12 mężczyzn). Czterech badanych zadeklarowało średnio-zaawansowane lub zaawansowane doświadczenie w produkcji lub kompozycji muzyki. Siedmiu uczestników zadeklarowało, że mimowolnie kojarzą dźwięki z kształtami. Wyniki badania ukazały wyraźną zależność między odtwarzanymi dźwiękami i prezentowanymi kształtami. Wraz z większym przesyceniem dźwięku badani kojarzyli je z bardziej skomplikowanymi kształtami, tj. z większą ilością wierzchołków lub większym ich wysunięciem. Poziom przesycenia także wpływał na to czy były wybierane okrągłe czy kanciaste kształty. Wyniki badania mogą okazać się przydatne w celu projektowania nowych narzędzi do syntezy dźwięku.This study investigates cross-modal correspondence between auditory and visual percepts. Based on previous research, this study proposed extended research on association of some attributes of sound timbre and shape properties. While most studies focused on very simple or very distinctive sounds. In this experiment, 4 musical sounds varying at fundamental frequency and brightness were used to compare with 2 visual shapes varying at complexity. Each of 32 sounds was presented against 16 shapes. Subjects had to select which shape fits the heard sound best. This scenario helped studying how small differences in timbre might affect the correspondence with visual shapes. Twenty-nine subjects (17 females and 12 males) participated in online experiment. Four subjects claimed to be proficient or advanced in music production or composition. Seven subjects reported that they involuntary associate musical sounds with visual shapes. Results revealed a strong correspondence between timbre and shapes. It was confirmed that increasing the brightness level leads to association with more complex shapes such as these with more extended vertices or with higher number of vertices. Brightness level also played a role when choosing between round and angular shape. Some of findings could be useful for designing new audio-visual sound synthesis interfaces