Validación de la escala de valoración de la docencia de la Escuela Politécnica Nacional de Ecuador. Un análisis de su relación con el rendimiento académico

La evaluación del profesorado constituye uno de los objetivos más importantes para garantizar la calidad de la educación superior, dicha evaluación responde a la necesidad de mejorar el Sistema de Educación Superior del Ecuador, es así que, la Ley Orgánica de Educación Superior, establece que los profesores se someterán a una evaluación periódica integral según los parámetros de evaluación dados por el Reglamento de Carrera y Escalafón del Profesor e Investigador y las normas de cada institución en la cual se observarán la evaluación que realizan los estudiantes a sus docentes (heteroevaluación). La evaluación integral del desempeño se aplica periódicamente a todos los docentes de las instituciones de educación superior públicas y particulares, evaluando las actividades de docencia, investigación, vinculación y dirección o gestión académica. Los instrumentos de evaluación y los procedimientos para tan importante objetivo deberán ser fiables y validados de tal manera que la información recopilada permita medir con eficacia el desempeño del profesorado y retroalimentarlo para la mejora de la calidad de la enseñanza, la investigación y la gestión. Por lo tanto, es una necesidad contar con instrumentos de evaluación de la docencia fiables y validados, cuyos resultados propendan a la excelencia y pertinencia de la educación superior y su relación que pudieran tener con el desempeño académico de los estudiantes, la presente tesis doctoral desarrollada en la modalidad por compendio de publicaciones persigue el cumplimiento de tres objetivos que corresponden a los tres artículos científicos con este fin. El primer objetivo, validar el cuestionario de evaluación del profesorado de la Escuela Politécnica Nacional aplicando el método de Análisis Factorial Exploratorio (AFE). Se parte de un análisis exploratorio de los datos obtenidos de la aplicación de los cuestionarios de 33 ítems con 5 opciones de respuesta a una base de 6 110 estudiantes de las carreras de ingeniería, ciencias y programas de tecnología superior. Estos estudiantes fueron matriculados en 8 facultades y escuelas distintas, estudiando 24 carreras de grado diferentes, el 68.60% son estudiantes varones y el restante 31.40% mujeres, la edad promedio corresponde a 22.30 años. La muestra de profesores consistió en 670 docentes, los cuales representaron una muestra variada en términos de edad, categoría y experiencia en la enseñanza, de los cuales el 62.80% fueron hombres. La aplicación de la escala de 33 ítems fue realizada al final de curso académico 2016-17, antes de que los estudiantes conocieran sus calificaciones finales. El resultado del método descrito fue una escala reducida o corta de 14 ítems, la cual identifica claramente 4 constructos o dimensiones: Planificación y desarrollo de la docencia (Factor 1); Metodología y recursos (Factor 2); Evaluación (Factor 3) y Relación profesor – alumno (Factor 4). El segundo objetivo, consiste en validar la escala de evaluación docente reducida practicada a los estudiantes de grado de la Escuela Politécnica Nacional y la relación entre la versión corta (14 ítems) y larga ( 32 ítems) de la escala con el rendimiento académico y examinar si los puntajes son invariantes con respecto a variables relevantes como el género del estudiante en el contexto de los estudios científico-tecnológicos. La metodología utilizada incluyó: análisis descriptivo, correlación intraclase, modelación de ecuaciones estructurales, análisis factorial confirmatorio (AFC), correlaciones entre la escala corta y larga. La muestra utilizada es la misma que la del primer artículo científico, es decir, estuvo conformada por 6110 estudiantes de la Escuela Politécnica Nacional del Ecuador que calificaron la enseñanza de 310 de sus profesores, lo que representa una muestra variada en edad, categoría y experiencia docente. Estos estudiantes estaban matriculados en 8 facultades diferentes en 28 programas de grado y asistieron a 358 diferentes. El mayor porcentaje de estudiantes varones es representativo de la población de estudiantes politécnicos. Las medidas de rendimiento académico de los estudiantes se obtuvieron para una submuestra de 1538 estudiantes. Los resultados mostraron el mejor ajuste para un modelo multidimensional con cuatro factores altamente correlacionados que no excluyen un factor general, con un excelente ajuste a los datos, tanto en la escala larga como en la versión corta de la escala. La estructura con el mejor ajuste fue el modelo de ecuaciones estructurales exploratorio (ESEM) de cuatro factores; sin embargo, las cargas de los factores en el factor general fueron bajos y, por lo tanto, se mantuvo la estructura ESEM de cuatro factores. Al analizar la escala corta de 14 ítems, utilizando ESEM de cuatro factores, proporcionó cargas de moderadas a altas y cargas cruzadas bajas específicamente, para la Planificación y desarrollo de la docencia (Factor 1), las cargas oscilaron entre 0.508 y 0.857, para Metodología y recursos (Factor 2) entre 0.601 y 0.856, para Evaluación (Factor 3) entre 0.385 y 0.885, y para Relación profesor-alumno (Factor 4) entre 0.629 y 0.958. Por lo tanto, decidimos mantener esta estructura. Para la escala de 32 ítems la fiabilidad se evaluó mediante la fórmula de factores correlacionados, para la escala total fue 0.980, para Planificación y desarrollo de la docencia 0.949, para Metodología y recursos 0.901, para Evaluación 0.948, y para Relación profesor-alumno 0.947. Para el análisis de las correlaciones entre la escala de evaluación de la docencia corta y larga con el rendimiento académico, tomando datos individuales y agregados, fueron estadísticamente significativas con valores moderados-bajos. Tomando las subescalas como la escala total mostraron correlaciones significativas con el rendimiento académico. Además, las correlaciones en los datos agregados en clases o secciones fueron ligeramente más altas que en los datos individuales. Por otro lado, los resultados de este estudio mostraron invariancia, para el género, de tipo configuracional, métrica y escalar en el contexto de los estudios científico-tecnológicos. En conjunto, los resultados demostraron las buenas cualidades psicométricas del Cuestionario de Evaluación del Profesor de la Escuela Politécnica Nacional y su validez de constructo y criterio, así como su alta fiabilidad. Además, los índices psicométricos de la versión corta de esta escala sugieren la posibilidad de desarrollar escalas cortas de tres o cuatro ítems que son igualmente confiables y válidas. El tercer objetivo, aborda la relación entre la evaluación de la enseñanza por parte de los estudiantes (SET) y rendimiento académico en la educación superior utilizando una muestra amplia de estudiantes y profesores de la Escuela Politécnica Nacional. Se utilizaron diferentes procedimientos metodológicos que consideran como unidades de análisis los datos individuales de cada estudiante y grupales (media del grupo-clase), y su relación con el rendimiento académico medio de los grupos de clase, mediante correlación y técnicas de regresión múltiple. También se realizó un análisis multisección en aquellas disciplinas del curso en las que había más de un grupo de clase (sección). Los resultados del análisis de clases individual y grupal revelaron que SET fue moderadamente bajo, pero relacionado con el rendimiento académico de manera significativa, una vez que se controló el efecto del rendimiento académico previo. Los resultados del análisis realizado en las disciplinas con diferentes secciones, de acuerdo con un diseño multisección, arrojaron resultados similares a los análisis de datos individuales y grupales. Con base a los resultados de esta investigación, se puede llegar a conclusiones que permiten establecer la validez y confiabilidad de una escala de evaluación docente en una universidad politécnica, así como la relación de la evaluación de la enseñanza con el rendimiento académico de los estudiantes, en el marco de un mejoramiento continuo de la calidad del sistema de educación superior. Como principales conclusiones se establecen las siguientes: En conjunto, los resultados demostraron las buenas cualidades psicométricas de la escala de evaluación del desempeño docente de la Escuela Politécnica Nacional y su validez de constructo, así como su alta confiabilidad. Además, los índices psicométricos de la versión corta de esta escala sugieren la posibilidad de desarrollar escalas cortas de tres o cuatro ítems igualmente fiables y válidos, donde las relaciones obtenidas entre las versiones larga y corta del nuevo instrumento con el rendimiento académico tienen implicaciones prácticas para la enseñanza del docente. Por otro lado, este instrumento de evaluación puede ayudar a los profesores para adaptar su enseñanza a las necesidades y preferencias de los estudiantes en el contexto de características específicas de los estudios politécnicos, sin perder de vista la controversia entre las percepciones de los estudiantes sobre la calidad de la enseñanza, o percepciones de aprendizaje, y su aprendizaje real en el contexto de las ciencias exactas y de la ingeniería. Respecto a las limitaciones de este estudio, dado que las escalas larga y corto se administraron como parte de la escala completa, y a pesar de la corrección de Levy (1968) y Gower (1971) para el cálculo de la correlación entre las dos versiones, sería necesario administrar las escalas larga y corta a la misma muestra de forma independiente