AALE – Avaliação de acessibilidade de larga escala

Tese de Mestrado, Informática, 2021, Universidade de Lisboa, Faculdade de CiênciasA acessibilidade da web refere-se à inclusão de práticas no desenvolvimento de conteúdos web, por forma a que todos os recursos possam ser utilizados por todos os grupos de utilizadores, incluindo utilizadores com deficiências. Para verificar o estado da acessibilidade de cada recurso web, as avaliações da acessibilidade devem ser consideradas. A avaliação da acessibilidade dos recursos da Web é normalmente desempenhada através da verificação da conformidade de cada recurso com um conjunto de diretrizes definidas por um determinado padrão (por exemplo, as WCAG, Web Content Accessibility Guidelines). O resultado da avaliação indica quais as diretrizes que o recurso Web respeita, e pode incluir outros detalhes importantes referentes ao número de elementos. Tipicamente, o conteúdo a ser avaliado e selecionado de acordo com os requisitos do estudo e as respetivas restrições. No que diz respeito a avaliação da acessibilidade, esta pode ser efetuada de forma manual, automática ou híbrida. A escolha do método mais adequado a utilizar tem como base o contexto do estudo, bem como os recursos disponíveis. As avaliações da acessibilidade em larga escala, i.e. avaliação da acessibilidade de um grande conjunto de paginas web, pretendem observar a evoluão e/ou o estado da acessibilidade da Web. Deste modo, é possível conhecer quais os aspetos mais relevantes a serem melhorados e instituir boas práticas no desenvolvimento de conteúdo web. Por esta razão, foi realizado um estudo da acessibilidade em larga escala, com o objetivo de avaliar alguns aspetos relativos a acessibilidade da Web. Primeiramente, foi realizada uma revisão da literatura referente a avaliações da acessibilidade automáticas e avaliações em larga escala. De seguida, através da ferramenta automática QualWeb desenvolvida pelo Departamento de Informática na Faculdade de Ciências da Universidade de Lisboa, foram executadas avaliações da acessibilidade de 2.8 milhões de páginas web. Com base nos resultados das avaliações, foi possível obter conclusões e estudar o estado da acessibilidade, por forma a compreender quais os problemas mais frequentemente reportados. Como exemplo, a maioria das páginas web avaliadas apresentam problemas relacionados com o contraste do texto. Os restantes principais problemas, que foram identificados em mais de 20% das páginas, focam-se na ausência de um nome acessível em certos elementos HTML. A solução para este tipo de situações é relativamente simples e podia ser facilmente evitada, se os desenvolvedores de conteúdo web apresentassem maior sensibilidade e consciência sobre o assunto. Os resultados provenientes de avaliações da acessibilidade podem ainda ser analisados com o intuito de entender se existem certos aspetos que podem influenciar esses resultados. No desenvolvimento de um site web são utilizadas diversas tecnologias com determinados propósitos. No entanto, o desenvolvimento e manutenção de um site web é uma tarefa desafiante, podendo por vezes influenciar outros âmbitos como a acessibilidade dos conteúdos a serem desenvolvidos. Isto significa que as tecnologias utilizadas nestes processos podem ter influência na acessibilidade do conteúdo web. Neste sentido, os resultados da identificação de tecnologias utilizadas no desenvolvimento de 166 mil sites web, pelas ferramentas automáticas Wappalyzer e SimilarTech, alinhados com os resultados do QualWeb foram explorados. Esta investigação consistiu na realização dos testes estatísticos Mann-Whitney e Kruskal-Wallis e ainda testes post-hoc, quando aplicável. O primeiro teste teve o objetivo de perceber se as categorias de tecnologias influenciavam a acessibilidade das páginas e se essa influência era positiva ou negativa. O segundo teste pretendeu estudar as diferenças entre as várias tecnologias de cada categoria, no que diz respeito à influência que têm na respetiva categoria. Os testes post-hoc visaram explorar se as tecnologias das categorias consideradas são estatisticamente diferentes. As conclusões deste estudo demonstraram haver certas tecnologias e respetivas categorias que foram aplicadas no desenvolvimento do conteúdo web de páginas mais acessíveis ou menos acessíveis. Deste modo, os resultados das análises permitem perceber o impacto das tecnologias na acessibilidade web e quais delas podem implicar pontuações de acessibilidade mais positivas ou mais negativas. Para alem deste aspeto relacionado com as tecnologias web, e uma vez que a comparação dos níveis de acessibilidade de diferentes recursos ou de diferentes versões do mesmo recurso, na maioria das vezes é complexa, a utilização de métricas de acessibilidade para sintetizar o nível de acessibilidade de um recurso web em um (ou mais de um) valor quantificável, pode ser considerada. As métricas de acessibilidade são importantes quando há a necessidade de comparar o nível de acessibilidade de sites web. Esta comparação está a tornar-se um caso de uso relevante para agências de monitorização da acessibilidade ou para as organizações que avaliam o impacto das alterações ao nível da acessibilidade dos seus recursos como parte dos seus processos de garantia de qualidade. No que diz respeito as métricas de acessibilidade, e interessante perceber se elas se relacionam e que agrupamentos conseguem formar, de modo a facilitar a escolha de uma ou mais métricas num determinado contexto de estudo ou investigação. Consequentemente, foi possível calcular 11 métricas de acessibilidade web referentes a páginas e sites web identificadas na literatura, a partir dos resultados obtidos pelo QualWeb relativos aos testes verificados nas páginas web. As relações entre as várias métricas de acessibilidade foram exploradas, bem como as semelhanças e diferenças entre os diversos grupos formados. As métricas foram agrupadas através do método de Clustering Hierárquico, que associa as métricas consoante as suas semelhanças. Posteriormente, foi realizada uma outra analise que estuda a validade de cada uma das métricas de páginas e de sites web. Um conjunto de páginas acessíveis e inacessíveis foi selecionado de acordo com fontes que afirmam a natureza da acessibilidade das páginas. Foram aplicadas todas as métricas de acessibilidade com o objetivo de perceber quais reportavam os resultados mais coerentes e viáveis relativamente às páginas que afirmavam ser mais acessíveis e menos acessíveis. Ao longo de toda a pesquisa realizada neste trabalho, e percetível uma quantidade considerável de estudos e análises realizados somente com recurso a home pages de vários sites web. Esta preferência coloca a dúvida relativa à representatividade dos níveis de acessibilidade destas páginas face aos níveis de acessibilidade das restantes páginas dos sites web. Por essa razão, as diferenças entre a acessibilidade das home pages e das restantes páginas de cada site web foi medida. Esta medição foi realizada através do estudo da correlação entre as pontuações da métrica A3 das home pages com as pontuações da mesma métrica das páginas interiores dos vários sites web. Para além deste estudo, foram também analisados os problemas que as páginas interiores e as home pages reportam, com o intuito em perceber se diferentes tipos de erros de acessibilidade são identificados nas duas abordagens distintas. Com esta análise foi possível concluir que existe uma correlação forte entre os níveis de acessibilidade das home pages e das páginas interiores e que foram detetados os mesmos problemas de acessibilidade em ambos os tipos de páginas. Como consequência, é possível afirmar que a acessibilidade das home pages pode ser utilizada como referência para a acessibilidade de todo o site web. Contudo, e devido ao facto de este trabalho ser unicamente focado em avaliações e ferramentas automáticas, existem problemas de acessibilidade que as ferramentas automáticas não conseguem detetar, limitando, assim, as conclusões obtidas. Não obstante, considerar avaliações manuais realizadas por peritos, mesmo que a grupos específicos de páginas, seria um processo inviável e bastante custoso, considerando o número elevado de páginas avaliadas.Evaluating the accessibility of web resources is usually performed by checking the conformance of the resource against a standard or set of guidelines (e.g. the WCAG 2.1). The result of the evaluation will indicate what guidelines are respected (or not) by the resource, as well as other important details. Typically, the content to be evaluated is selected according to the study requirements and constraints. Accessibility evaluation results can be analyzed in order to understand if there are certain aspects that can influence them. Since developing and maintaining a website is always a challenging task, the technologies used in this process may have influence in the accessibility of the web content. In this regard, several analyzes were performed that demonstrated that certain web technologies may entail more positive or negative accessibility scores. Aside from this, and since the comparison of the accessibility levels of different resources or of different versions of the same resource most of the time is complex, the use of web accessibility metrics to synthesize the accessibility level of a web resource into one (or more than one) quantifiable value can be reached. Therefore, they are important when there is a need to compare websites. In this regard, it is interesting to understand if they relate to each other and the groups they can form. Consequently, the relationships between several accessibility metrics were explored, as well as the similarities and differences between the groups. Over the conducted research in this thesis, it is noticeable a considerable quantity of studies that rely only on the home pages of a set of websites. This preference raises the doubt related to the representativeness of these home pages’ accessibility levels compared to the remaining website pages’ accessibility levels. For this reason, their accessibility levels and reported issues were compared. Based on this analysis, it was possible to conclude that the accessibility of the home pages can be used as a reference for the overall website accessibility. To achieve the above purposes, we used the QualWeb automated engine to perform the large-scale web accessibility evaluation over 2.8 million web pages and Wappalyzer and SimilarTech automated tools to identify the web technologies of the pages’ domains. From the evaluations’ results obtained using QualWeb, we computed 11 web accessibility metrics and we measured the difference between the accessibility of the home pages and the remaining website pages