Anvendelse av maskinlæring for evaluering av blikkdata fra VR-miljø

Eyetracking handler om å måle øyebevegelser for å finne ut hvor en person ser, hva de ser på og hvor lenge blikket er på et bestemt punkt. Ettersom øynene våre er et av de primære verktøyer vi bruker for beslutningstaking, kan eyetracking benyttes av forskere til å studere menneskelig atferd og forstå visuell oppmerksomhet. Dette bachelorprosjektet samt tilhørende rapport bygger på et tidligere bachelorprosjekt gjennomført av Moan, Nygård og Ramsberg i 2020. Det forgående prosjektet fokuserte på oppsett av scener i VR for innsamling av øyedata, for å så implementere en rekke algoritmer for best mulig klassifisering av denne dataen. Det nåværende prosjektet plukker på mange måter opp der det prosjektet slapp, samtidig som det tar forskningen i nye retninger. Prosessen har ledet til et skalerbart forskningsprosjekt, som er designet for videre utvikling. Resultatene som presenteres i denne rapporten foreslår at det er mulig å klassifisere både visuell input og brukere av VR-headsett, med maskinlæring trent på den tilhørende øyedataen. Denne dataen kan også benyttes til å predikere fremtidige sakkadiske bevegelser. En av de store begrensninger i 2020, kom ved innsamling av tilstrekkelig variert data i koronapandemien. Dette var ikke en begrensende faktor ved denne prosjektgjennomføringen og tillot innsamling av et godt datagrunnlag. Gruppen utførte en nøye evaluering av det tidligere utførte arbeidet, samt konklusjoner som ble dratt av den forgående gruppen. Dette er blitt brukt til analysen av klassifiseringsalgorimer, og vist at det er store ulikheter i hvordan disse skiller på sakkader og fikseringer. Dette gjelder både for algoritmer seg imellom, og i sammenligning av ulike scener. Dette ble bakgrunnen for utviklingen av fire nye eksperimenter, som er designet for å fremprovosere forskjellige typer øyebevegelser som er representert i litteraturen. Disse representerer dens visuelle input. Det er samlet inn over 300mb med øyedata for analysen. Ved hjelp av maskinlæring og data fra de nye scene utviklet gruppen modeller som skulle være i stand til å predikere hvilken scene data tilhørte. CNN-modellen ga et godt utgangspunkt, med en presisjon over 60 prosent for klassifisering av scener. De beste resultatene kom fra med RNN-modellen, som på uavhengig testsett klassifiserte scener og testpersoner med presisjon opp mot 90 prosent. RNN-modellene ble implementert i Unity for klassifisering i sanntid, her også ble resultatene gode, med noe lavere presisjon som følge av spesifikke implementasjonsdetaljer. Det var også av interesse å kunne predikere fremtidige øyebevegelser basert på tidligere bevegelse. Dette resulterte i en implementasjon av en Forecast N-BEATS modell, som ga svært gode resultater for fremtidig blikkprediksjon under sakkader. Denne rapporten vil kapittelvis gå igjennom prosjektet, og gi leseren et innblikk i prosessen bak prosjektet og resultatene oppnådd. Først vil all relevant teori bli dekket for å gi leseren den nødvendige teoriske kunnskapen. Gruppens valg av teknologi samt metode blir videre dekket, før en gjennomgang av resultatene blir presentert for leseren. Avslutningsvis vil rapporten diskutere rundt observasjoner gjort under prosjektets gjennomførelse, samt resultatene i seg selv. Dette skal lede til et godt grunnlag for videre forskning på eyetracking