Análisis comparativo de las Pruebas de Acceso a la Universidad bajo el enfoque de comparabilidad de constructo

Evaluation processes are a fundamental tool for training and selecting students. However, there are no empirical studies in Spain that analyse the usefulness of assessment tests to measure academic performance. This study, based on research carried out using the construct comparability approach, conducts a comparative analysis of grades achieved by 6709 students pertaining to 15 academic subject areas of the university entrance examinations (Pruebas de Acceso a la Universidad – PAU) administered in the province of Alicante regarded as an instrument item related to the measurement of the academic performance construct. The initial results exhibited unidimensionality, and all academic subject areas fit the model, although there was a lack of discrimination between high-and low -performing students, mainly due to the absence of monotonicity in the scoring categories. The difficulty levels of the academic subjects were found to be appropriate for the skill levels of most students. These results demonstrated the ability of the tests analysed to report on the academic performance of the students who took the tests. In addition, important conclusions are presented regarding improvements in the grading processes, and future research studies are proposed.Los procesos de evaluación constituyen una herramienta fundamental en el marco de la formación y selección de estudiantes. Sin embargo, no existen estudios empíricos en España que analicen la utilidad de las pruebas de evaluación para medir el rendimiento académico. El presente estudio, en base a las investigaciones realizadas sobre el enfoque de comparabilidad de constructo (construct comparability approach), realiza un análisis comparativo de las calificaciones obtenidas de 15 asignaturas de las Pruebas de Acceso a la Universidad (PAU) en la provincia de Alicante, con una muestra de 6709 estudiantes. Se emplea el modelo de Rasch de crédito parcial como método de estimación, considerando cada materia como un ítem de un instrumento relacionado con la medición del constructo rendimiento académico. Los resultados iniciales mostraron el cumplimiento de la unidimensionalidad, así como un ajuste de todas materias al modelo, aunque se apreció una falta de discriminación entre sujetos de alto y bajo rendimiento, debido principalmente a la ausencia de monotonocidad de las categorías de puntuación. Se observa que el nivel de dificultad de las materias se adecúa al nivel habilidad de la mayor parte de los sujetos. En base a estos resultados, se destaca la capacidad de las pruebas analizadas para informar sobre el rendimiento académico de los estudiantes. A su vez, se derivan conclusiones relevantes para la mejora de los procesos de calificación, y se proponen investigaciones futuras.The present work was supported by the Vice President of Research and Knowledge Transfer of the University of Alicante, with grant reference GRE17-16