The effects of visual processing on human frequency following brain response

Tässä työssä tutkittiin, miten huomion keskittäminen visuaaliseen ärsykkeeseen vaikuttaa aikaiseen kuuloprosessointiin elektroenkefalografian (EEG) avulla. Erityisesti haluttiin selvittää vaikutukset kuuloaivorunkovasteen taajuusseuraajavasteeseen. EEG mitattiin koehenkilöiden keskittyessä seuraamaan visuaalisia ärsykkeitä samalla, kun taustalla toistettiin /da/-ääniärsykettä. Kokeessa oli kolme eri tilannetta, jotka erosivat toisistaan visuaalisen ärsykkeen osalta. (1) Vokaalit, jossa koehenkilöt katsoivat äänetöntä videota vokaaleja toistavasta henkilöstä. (2) Laajenevat renkaat, jossa koehenkilöiden katsomalla videolla henkilön suun alueella liikkui laajeneva ja supistuva rengas, jolla luotiin ajallisesti ja avaruudellisesti vokaali-tilannetta vastannut liikkeen havainnointi ilman kielellistä sisältöä. (3) Staattinen kuva, jossa koehenkilölle näytettiin pysähtynyttä neutraalia kasvokuvaa. Vokaalit- ja laajenevat renkaat - tilanteissa koehenkilöiden tehtävänä oli reagoida kahteen peräkkäiseen samaan vokaaliin / renkaan suuntaan. Koehenkilöt suorittivat kunkin tehtävän kaksi kertaa satunnaisessa järjestyksessä, jotta aivorunkovasteen toistettavuutta voitiin seurata. Koehenkilöt tunnistivat vokaalit-tilanteen kohdeärsykkeet prosentuaalisesti paremmin, mutta hitaammin, kuin laajenevat renkaat -tilanteessa. EEG tuloksissa on nähtävissä trendi, jossa taajuusseuraajavasteen amplitudi on vokaalit-tilanteessa alhaisempi. Taajuusseuraajavasteen ensimmäisen piikin osalta tulokset olivat tilastollisesti merkitseviä. Nämä tulokset voivat viitata siihen, että huuliltaluku vaikuttaa alentavasti taajuusseuraajavasteen amplitudeihin.In this thesis, the effects of attending to visual stimuli to early auditory processing were studied with the aid of electroenchephalography (EEG). The focus was on the frequency following response (FFR) of the auditory brainstem response (ABR). EEG-responses were measured while subjects attended to visual stimuli combined with auditory /da/-syllable. There were three different conditions based on the visual stimulus type: (1) vowels, where subjects attended to a video of a female speaker mouthing Finnish vowels; (2) expanding rings, where the video consisted of the same female speaker's still face with an expanding ring/oval imposed over the mouth region, creating temporally and spatially similar movement to the vowels condition, but without the linguistic content; and (3) the still condition, where the still image of the same female speaker was presented. Tasks in the vowels and expanding rings conditions were to react to two consecutive same vowels/rings. Subjects completed two sets of the three conditions in randomized order to control the intra-subject ABR replicability. The behavioral results showed the subjects identified the vowel targets better, but slower in comparison to the expanding rings. The EEG results showed a trend towards lower FFR amplitudes during lipreading/vowels condition and there were statistically significant effects in the first peak of the FFR. These results could suggest suppressive effects of lipreading on the FFR