Recolha de evidências de validade na construção de um instrumento de avaliação da literacia científica

A literacia científica é o principal objetivo do ensino de ciências. Entretanto, raros são os instrumentos que apresentam evidências de validade e sejam capazes de avaliar, em conjunto, as dimensões da natureza da ciência, do conhecimento do conteúdo da ciência e do impacto da ciência e da tecnologia na sociedade, principalmente no 3.° ciclo do ensino básico. A validade é principal indicador de qualidade técnica de um instrumento de avaliação e reflete o grau em que cada evidência e a teoria suportam a precisão das interpretações dos resultados dos testes para os usos propostos. Este estudo tem como objetivo a recolha de evidências de validade baseadas no conteúdo, utilizada para a elaboração de um instrumento piloto de avaliação da literacia científica de alunos no final do 3.° ciclo do Ensino Básico. A recolha das evidências de validade foi realizada em seis etapas: 1) definição dos domínios cognitivos, os quais foram estabelecidos a partir da taxonomia atualizada de Bloom, selecionando três deles: compreender, analisar e avaliar problemas e situações cotidianas que envolvem o conhecimento nas ciências físicas e naturais; 2) definição do universo do conteúdo, que foi determinado com base na análise dos documentos curriculares da área das ciências físicas e naturais vigentes em Portugal, em consonância com os benchmarks for science literacy; 3) definição da representatividade do conteúdo, estabelecida por meio da análise de similaridade dos conteúdos entre os documentos supracitados; 4) elaboração da tabela de especificação, etapa em que se atribuiu a correspondência entre os conteúdos selecionados e os domínios cognitivos estipulados; 5) construção do instrumento, a qual compreendeu as decisões sobre o formato, a configuração e as diretrizes técnicas de construção de itens; e 6) análise teórica dos itens, realizada por um painel de especialistas, responsável por analisar as diversas características dos itens e, consequentemente, a determinação do grau de concordância entre as análises, recorrendo ao índice de validade de conteúdo. Como resultado, foram selecionados para compor o instrumento piloto 35 itens, no formato “verdadeiro-falso-não sei”, que avaliam os domínios cognitivos de compreender, analisar e avaliar competências de literacia científica presentes nos principais documentos curriculares portugueses vigentes das Ciências Físicas e Naturais