Crossmodal Perception of Emotion in Audiovisual Scenes of Knocking Sounds

Sound is an important aspect of storytelling. Previous studies have investigated the emotional perceptions of knocking sounds, in relation to the colour and material of the door. This study will build on these projects and investigate two new visual factors, colour grading and the speed at which a door opens, to determine how they affect emotional perception in isolation, and then how they interfere with five expressive knocking sounds. This was done by conducting four experiments. The first two experiments investigated the emotional perception of the visual factors. In the last two experiments, the visual factors were combined with the expressive knocking sounds, in order to investigate how the conveyed emotions of these visual factors interfered with the perceived emotions of the knocking sounds. The results showed that the knocking sounds had the strongest influence over the overall perceived emotion. However, the colour gradings were able to influence and interfere with the perceived emotion of the knocking sounds, while the door opening speeds did not have an effect.Ljud är en viktig del i historieberättande. Tidigare studier har utforskat den känslomässiga uppfattningen av ljud i form av knackningsljud, samt hur dörrens färg och material påverkar den uppfattningen. Den här studien bygger på dessa projekt och utforskar två andra visuella faktorer i form av färgsättning (colour grading) och hastigheten en dörr öppnas med. Den känslomässiga uppfattningen av dessa faktorer undersöks, samt hur de påverkar fem knackningsljud med avsedda känslor. Det här undersöktes med hjälp av fyra experiment. I de två första experimenten undersöktes den känslomässiga uppfattningen av de två visuella faktorerna enskilt. I de två sista experimenten, kombinerades de visuella faktorerna seperat med de fem knackningsljuden. Här undersöktes det hur de känslorna som förmedlades av de visuella faktorerna påverkade de förmedlade känslorna av knackningsljuden. Resultatet visade på att knackningsljuden hade mest influens över den övergripande uppfattade känslan. Däremot så influerade och påverkade färgsättningen den uppfattade känslan av knackningsljuden, medan dörrhastigheten inte gjorde det