A validade de uma avaliação baseada no desempenho para aspirantes a líderes escolares

This paper introduces the new Massachusetts Performance Assessment for Leaders (PAL) and uses critical policy analysis to re-examine the validity evidence (using the 2014 Standards for Educational and Psychological Testing and a theory of multicultural validity) for the use and interpretation of the PAL in regards to emerging school leadership. Data sources include two years of PAL test documentation plus candidate surveys and interviews with program directors. The author’s role as a test user, faculty instructor, and certified test scorer afforded access to student work, student communications, scorer network training, and state department of education communications and meetings. The paper challenges the content validity, raises questions in regards to evidence based on response processes, internal structure, relation to other variables, consequences, and multicultural validity particularly when the PAL is used as a stand-alone, high-stakes licensure test and offers suggestions to improve the test as a formative assessment.Este artículo presenta la Massachusetts Performance Assessment for Leaders (PAL) y utiliza un análisis político crítico para reexaminar la validez de las evidencias utilizando los Estándares de 2014 para las Normas para la Educación y la Psicología de la prueba y una teoría de validez multicultural) el uso e interpretación de PAL en relación al liderazgo escolar emergente. Las fuentes de datos incluyen dos años de documentación de la prueba PAL, además de encuestas con candidatos y entrevistas con directores de programa. El papel del autor como usuario de prueba, instructor del cuerpo docente y artillero de prueba certificado posibilitó el acceso al trabajo del alumno, a las comunicaciones de los alumnos, al entrenamiento de la red de puntuación y al departamento estadual de comunicaciones y reuniones educativas. El artículo discute la validez de contenido, plantea cuestiones en relación a evidencias basadas en procesos de respuesta, estructura interna, relación con otras variables, consecuencias y validez multicultural, particularmente cuando el PAL se utiliza como una prueba autónoma de licencias de “high stakes” y ofrece sugerencias para mejorar la prueba como una evaluación formativa.Este artigo apresenta a Massachusetts Performance Assessment for Leaders (PAL) e usa análise política crítica para reexaminar a validade das evidências (usando os Padrões de 2014 para Standards for Educational and Psychological Testing e uma teoria de validade multicultural) para o uso e interpretação de PAL em relação à liderança escolar emergente. As fontes de dados incluem dois anos de documentação do teste PAL, além de pesquisas com candidatos e entrevistas com diretores de programa. O papel do autor como usuário de teste, instrutor do corpo docente e artilheiro de teste certificado possibilitou o acesso ao trabalho do aluno, às comunicações dos alunos, ao treinamento da rede de pontuação e ao departamento estadual de comunicações e reuniões educacionais. O artigo contesta a validade de conteúdo, levanta questões em relação a evidências baseadas em processos de resposta, estrutura interna, relação com outras variáveis, conseqüências e validade multicultural, particularmente quando o PAL é usado como um teste autônomo de licenciamento de “high stakes” e oferece sugestões para melhorar o teste como uma avaliação formativa