Audiovisual Cross-Modality in Virtual Reality

What happens when we see an object of a certain material but the sounds that it makes comes from another material? Whilst it is an interesting question, it is an area that is under researched. Though there has been some previous research in the field the visuals have been represented using textures on simple shapes like cubes or spheres. Since this is not how humans experience materials in the real world there is a possibility that the research that has been done is not generalizable or ecologically valid. We wanted to see what would happen if this type of test was performed using 3D models that looked like real-life objects that most people would be familiar with. In order to test this, we gathered impact sounds and 3D models to represent nine different materials and created a program in virtual reality that allowed us to test all the possible combinations of sounds and visuals. These tests were performed with 15 participants who selected which material they believed each audiovisual combination represented. Our results showed a higher tendency to rely on audio cues for material perception compared to previous tests. This is interesting since we increased the visual fidelity while the quality of the audio was comparable to the previous tests. One theory is that the increase in visual fidelity makes the visuals so much clearer that participants started focusing more on trying to understand the audio.Vad händer när vi ser ett föremål av ett visst material men ljuden som det gör kommer från ett annat material? Även om det är en intressant fråga, är det ett område som är underforskat. Även om det har gjorts en del tidigare forskning på området har det visuella representerats med hjälp av texturer på enkla former som kuber eller sfärer. Eftersom det inte är så människor upplever material i den verkliga världen finns det en möjlighet att den forskning som har gjorts inte är generaliserbar eller ekologiskt giltig. Vi ville se vad som skulle hända om den här typen av test utfördes med 3Dmodeller som såg ut som verkliga objekt som de flesta skulle känna till. För att testa detta samlade vi in ljud från kollisioner och 3Dmodeller för att representera nio olika material och skapade ett program i virtuell verklighet som gjorde att vi kunde testa alla möjliga kombinationer av ljud och bild. Dessa tester utfördes med 15 deltagare som valde vilket material de trodde att varje audiovisuell kombination representerade. Våra resultat visade en högre tendens att förlita sig på ljudet för uppfattning av materialet jämfört med tidigare tester. Detta är intressant eftersom vi ökade den visuella detaljrikedomen medan ljudets kvalité var jämförbart med de tidigare testerna. En teori är att ökningen av visuell detaljrikedom gör det visuella så mycket tydligare att deltagarna började fokusera mer på att försöka förstå ljudet