APLICAÇÃO DE TÉCNICAS DE INTELIGÊNCIA ARTIFICIAL PARA CLASSIFICAÇÃO DE FUGA AO TEMA EM REDAÇÕES

The process of manual correction of essays causes some difficulties, among which we point out the time spent for correction and feedback to the student. For institutions such as elementary schools, universities and the National High School Exam in Brazil (ENEM), such activity demands time and cost for the evaluation of the texts produced. Going off-topic is one of the items evaluated in the ENEM essay that can nullify the whole essay produced by the candidate. In this context, the automatic analysis of essays with the application of techniques and methods of Natural Language Processing, Text Mining and other Artificial Intelligence (AI) techniques has shown to be promising in the process of automated evaluation of written language. The goal of this research is to compare different AI techniques for the classification of going off-topic in texts and identify the one with the best result to enable a smart correction system for essays. Therefore, computer experiments were carried out to classify these texts in order to normalize, identify patterns and classify the essays in 1,320 Brazilian Portuguese essays in 119 different topics. The results indicate that the CNN classifier (convolutional neural network) obtained greater gain in relation to the other classifiers analyzed, both in accuracy and in relation to the results of false positives, precision of metrics, recall and F1-Score. In conclusion, the solution validated in this research contributes to positively impacting the work of teachers and educational institutions, by reducing the time and costs associated with the essay evaluation process.O processo de correção manual de redações acarreta algumas dificuldades, dentre as quais apontam-se o tempo dispendido para a correção e devolutiva de resposta ao aluno. Para instituições como escolas de ensino básico e fundamental, universidades e o Exame Nacional do Ensino Médio (ENEM), tal atividade demanda tempo e custo para a avaliação dos textos produzidos. A fuga ao tema é um dos itens avaliados na redação do ENEM que pode anular a redação produzida pelo candidato. Neste contexto, a análise automática de redações com a aplicação de técnicas e métodos de Processamento de Linguagem Natural, Mineração de Textos e outras técnicas de Inteligência Artificial (IA) tem se revelado promissora no processo de avaliação automatizada da linguagem escrita. O objetivo desta pesquisa é comparar diferentes técnicas de IA para classificação de fuga ao tema em textos e identificar aquela com melhor resultado para viabilizar um sistema de correção inteligente de redações. Para tanto, foram executados experimentos computacionais visando a classificação desses textos para normalizar, identificar padrões e classificar as redações em 1.320 redações de língua portuguesa em 119 temas diferentes. Os resultados indicam que o classificador RNC (rede neural convolucional) obteve maior ganho em relação aos demais classificadores analisados, tanto em acurácia, quanto em relação aos resultados de falsos positivos, métricas de precisão, recall e F1-Score. Como conclusão, a solução validada nesta pesquisa contribui para impactar positivamente o trabalho de professores e instituições de ensino, por meio da redução de tempo e custos associados ao processo de avaliação de redações