Assessment of Coverage and Effect of Web Content Accessibility Guidelines 2.1

The Web Content Accessibility Guidelines (WCAG) are an important resource for making the web more accessible for people with disabil- ities. They are used as a source of information for web content cre- ators, but also in standards as a basis for legislation when measuring whether a website is accessible or not. The guidelines have been criti- cized for poor coverage when studying real-life accessibility, especially for people with cognitive impairments. A newly released version of the guidelines, WCAG 2.1 aims to improve accessibility but has not been studied yet. This study evaluates the coverage of WCAG guidelines by con- ducting a user study and comparing the results with WCAG evalu- ation to find out if the problems found by users would be fixed by conforming to the guidelines. 3 websites were evaluated with a total of 6 users from 3 different disability groups. Same sites were evaluated with WCAG 2.0 and 2.1. The results show none of the site passed the WCAG evaluation. The users found 40 issues, of which 32,5% would be fixed if conform- ing to WCAG criteria. Most of the issues not covered by WCAG were related to understandability and readability of the content and the user interface. The blind group found the biggest number of issues, but al- most half of the issues would be fixed by WCAG, compared to only 13% for people with cognitive impairments. Despite the fact that all critical issues were covered by WCAG, the amount of serious issues not covered reveals that WCAG as a sole measure for accessibility is not enough to guarantee equal access to the web.Riktlinjerna för tillgängligt webbinnehåll (WCAG) är en viktig resurs för att göra webbsidor mer tillgängliga för personer med funktionsnedsättningar. Riktlinjerna används som informationskälla av webbinnehållsskapare, men också i standarder som grund för lagstiftning när man mäter om en webbplats är tillgänglig. Riktlinjerna har kritiserats för att dom inte är tillräckligt omfattande när man studerar tillgänglighet med användare, särskilt med personer med kognitiva funktionsnedsättningar. En nyligen släppt version av riktlinjerna, WCAG 2.1, syftar till att förbättra tillgängligheten men har ännu inte studerats. Syftet med detta forskningsprojekt är att utvärdera om riktlinjerna ger en tillräcklig nivå av tillgänglighet for en webbplats genom att utföra en användarstudie och jämföra resultaten med WCAG riktlinjerna för att ta reda på om problemen som användarna upptäckte skulle lösas genom att följa riktlinjerna. 3 webbplatser testades med totalt 6canvändare från 3 olika funktionshindergrupper. Webbplatser granskades också med WCAG 2.0 och 2.1. Resultaten visar att ingen av webbplatserna uppfyllde alla kriterier i WCAG. Användarna hittade 40 problem, varav 32,5% skulle undvikas om webbplatserna uppfyllde WCAG-kriterierna. De flesta av de problem som inte omfattas av WCAG gällde förståelse och läsbarhet av innehållet och olika element på sidan. Blinda gruppen fann det största antalet problem, men nästan hälften av problemen skulle undvikas genom att följa WCAG, jämfört med endast 13% för personer med kognitiva funktionsnedsättningar. Alla kritiska problem omfattades av WCAG, men största delen av allvarliga problem stod kvar, som visar att WCAG räcker inte som den enda sätt at mäta tillgänglighet