Evaluación de resúmenes en español con Análisis Semántico Latente: Una implementación posible

Evaluar resúmenes es una tarea compleja debido a que presenta problemas relacionados con la sistematicidad en la evaluación y con la dedicación de gran cantidad de tiempo por parte de los evaluadores. Estos problemas han motivado la indagación de métodos confiables de evaluación automatizada de resúmenes. En este contexto, el objetivo de este trabajo es identificar un método eficiente de evaluación automatizada de resúmenes, basado en el Análisis Semántico Latente (LSA). Los resúmenes fueron realizados por estudiantes de educación secundaria de la ciudad de Valparaíso, Chile. Para llevar a cabo esta tarea se correlacionan los puntajes de la evaluación realizada por tres docentes a 224 resúmenes provenientes de textos predominantemente expositivos, y 129 resúmenes provenientes de textos predominantemente narrativos con los puntajes entregados por tres métodos computacionales, basados en el LSA. Los métodos utilizados son los siguientes: 1) comparación de los resúmenes con el texto fuente de donde provienen, 2) comparación de los resúmenes con un resumen consensuado por lingüistas y 3) comparación de los resúmenes con resúmenes construidos por los tres docentes evaluadores a partir de los mismos textos fuente. Los resultados generales indican que los puntajes de los métodos 2 y 3 son similares estadísticamente a los puntajes asignados por los docentes evaluadores, cuando los resúmenes evaluados provienen de textos predominantemente narrativos. Sin embargo, esta similitud no se replica cuando los resúmenes provienen de textos predominantemente expositivos