EYE TRACKING IN USABILITY : A methodology study

The usability group at RISE Research Institute of Sweden primarily perform usability evaluations for their clients. Usability evaluations are performed on launched products as well as early prototypes, the purpose of these evaluations is to detect problems and give suggestions on how they can be solved. The usability group offers a variety of usability evaluations, such as expert evaluations where experts assess the usability of a product and user tests were participants are observed when preforming tasks with a product. Eye tracking is a relatively new tool that measures eye movement; this tool is used within the usability group at RISE today, mostly as a compliment in usability tests. No extensive analysis is made of the data collected using eye tracking, due to lack of time, resources and knowledge. The purpose of this project is to investigate whether and, if so, how eye tracking can be used efficiently to evaluate usability in user tests. At the start of the project a literature study, an analysis of the current state was carried out along with a practical exploration of the eye tracking technology and associated analysis tools. Based on the information gathered in the first part of the project, two directions were selected. A qualitative approach, with the aim of exploring and explaining why a usability issue arises, and a quantitative approach with the aim to compare two equivalent products and determining which one of them is best in a usability perspective. Early in the project challenges with the collection and evaluating eye tracking data were identified. These challenges were largely related to how a usability test is conducted. In order to further explore how to best perform a usability test using eye tracking, a pilot study was conducted in which the test object was a microwave oven. The goal of the pilot study was to develop a test setup to be able to collect eye tracking data with minimal impact on factors affecting the eye tracking data. Examples of factors are "think aloud" and that the test moderator asks questions during when the participant perform a task. Based on the insights from the pilot study, the test setup was further developed, and both a qualitative and quantitative method of data collection and analysis was developed. The test setup and the two methods were evaluated in a usability test with two clock radios. The results of the tests in this project show that the qualitative analysis of eye tracking data can gather detailed data on how a person searches for information when performing a given task. By looking at the eye movement pattern, you can get indications of shortcomings in the information layout of a particular product. Eye tracking allows you to understand why a person fails a task by checking if the test person saw the desired information without interpreting it or if the person completely missed the information that was necessary to complete the task. The quantitative analysis of eye tracking data could not detect any differences between the products tested to indicate differences in the overall usability. The conclusion is that a qualitative analysis is the most effective way to utilize eye tracking in usability tests of consumer products.Usability-gruppen på RISE Research Institute of Sweden arbetar främst med att utvärdera användbarhet på produkter för olika kunder. Användbarhets-utvärderingar utförs på lanserade produkter så väl som tidiga prototyper. Syftet med dessa utvärderingar är att upptäcka problem relaterade till användbarhet och komma med förslag på hur problemen kan lösas. Usability-gruppen erbjuder en rad olika typer av utvärderingar av produkter, exempelvis expertutvärderingar där produktens användbarhet bedöms av experter, och användartester där man observerar när en testperson använder en produkt. Eye tracking är ett relativt nytt verktyg som mäter ögonrörelser, detta verktyg används inom usability- gruppen på RISE idag som ett komplement vid använbarhets-tester. Då man saknar tid, resurser och till viss del kunskap om verktygets tillämpning används eye tracking idag endast som ett passivt verktyg. Med detta menas att man samlar in data utan att utföra några djupare analyser. Syftet med detta examensarbete är att undersöka om och i så fall hur eye tracking kan användas på ett effektivt sätt för att utvärdera användbarhet i användartester. I starten av projektet genomfördes en litteraturstudie, en nulägesanalys samt praktisk utforskning av tekniken och tillhörande analysverktyg. Baserat på den information som samlades in i första delen av projektet valdes två inriktningar. En kvalitativ inriktning, med målet att utforska och förklara varför ett visst användbarhetsproblem uppstår, och en kvantitativ inriktning med målet att jämföra två likvärdiga produkter och bestämma vilken av dessa som har bäst användbarhet. Tidigt identifierades även utmaningar med insamling och utvärdering av eye tracking-data, dessa utmaningar visade sig till stor del bero på hur ett användartest genomförs. För att vidare utforska hur man bäst genomför ett användbarhets-test med hjälp av eye tracking gjordes därför en så kallad pilotstudie där testobjektet var en mikrovågsugn. Målet med denna var att hitta ett testupplägg för att samla in eye tracking-data med minimal påverkan av omgivande faktorer som påverkar datan. Exempel på faktorer skulle kunna vara att testpersonen får ”tänka högt” eller att testledaren ställer frågor under genomförandet av en uppgift. Baserat på insikterna från pilotstudien vidareutvecklades testupplägget, och både en kvalitativ såväl som kvantitativ metod för datainsamling och analys togs fram. Testupplägget och de två metoderna utvädrades genom ett användbarhetstest där två olika klockradios testades. Resultaten från testerna som genomförts i projektet visar att man med kvalitativ analys av eye tracking data kan samla in detaljerade data på hur en person letar efter information vid utförande av en given uppgift. Genom att titta på ögonens rörelsemönster kan man få indikationer på brister i informationslayouten på en viss produkt. Med hjälp av eye tracking kan man förstå varför en person misslyckas med en uppgift genom att se om testpersonen såg den önskade informationen utan att tolka den eller om personen helt missade den information som var nödvändig för att klara uppgiften. Den kvantitativa analysen av eye tracking data kunde inte påvisa några skillnader mellan de produkter som testades för att indikera skillnader i användbarhet. Slutsatsen är att en kvalitativ analys är det effektivaste sättet att nyttja eye tracking vid användbarhetstester av konsumentprodukter