Instrument effect within the field of usability testing

Fältet för användbarhetstestning är fullt av metoder, men av någon anledning är det en väldig brist på studier som jämför metoderna mot varandra och kontrollerar om dessa metoder, som utger sig för att generera samma typ av data, faktiskt är likvärdiga. Denna studie jämförde två användbarhetstestningsmetoder vid namn SUS och PSSUQ. Först jämfördes metodernas metamedelvärde med varandra för att se om det fanns signifikanta skillnader mellan metodernas rådata och sedan utökades analysen till att jämföra metodernas resultat med den normativa mall som respektive metod ger tillgång till. Dessa två olika jämförelser gjordes ett flertal gånger med olika antal försöksdeltagare vid varje iteration. Resultatet av studien visade att inga statistiskt signifikanta skillnader fanns mellan metodernas metavärde (värden transformerade till en skala mellan 0 och 100) och att inga statistiskt signifikanta skillnader hittades mellan dessa två mätinstrument då deras resultat jämfördes mot de normativa mallar som metoderna ger tillgång till, men även om inga statistiskt signifikanta skillnader hittades visar resultatet på en viss skillnad i hur ett system uppfattas beroende på vilken metod som används, vilket innebär att liknande studier borde genomföras