Sistema colaborativo para avaliação de testes de fluência em larga escala

The proper assessment of learning is of paramount importance to an efficient teaching process. Assessments can be done in many different forms depending on what aspects of the learning process are under evaluation. Oral language stands out at the beginning of school life since students at that age have not yet fully developed their written skills, making oral expression fundamental for the development of students as it is the means through which they will receive information, interpret that information, organize their thoughts based on that information and even formulate new ideas. Besides the evaluation of each student individually, there are tests applied on a large scale which aim at data-gathering for obtaining the overall picture of the education system in an given area of knowledge or geographic region in the local or the national level. The results of these assessments allow the decision makers to develop and implement public policies aimed at improving the school system. On the other hand, given the peculiarities of oral language, large-scale tests are usually carried out in written form, completely neglecting competences which are exclusive of oral communication. With that in mind, the present paper introduces the Avalia Online, an automated system designed to evaluate, in large scale, the orality of children in the literacy phase. As it is with any automatic system, Avalia Online has its limitations, nonetheless it uses a collaborative approach that allows trained evaluators to intervene when needed, making the assessment process more reliable as a whole.A avaliação da aprendizagem é de suma importância no processo de ensino e pode ser realizada de diferentes maneiras a depender de seu objetivo. Dentre as avaliações pertinentes no início da vida escolar, a linguagem oral se destaca, uma vez que é fundamental para o desenvolvimento do aluno e sua interpretação do que escuta, organização de pensamentos e mesmo para a formulação de suas ideias. Existem também as avaliações voltadas para o levantamento de dados e informações para a obtenção do panorama geral do desenvolvimento dos alunos em uma área, região ou até mesmo todo o país. Essas avaliações precisam ser aplicadas em larga escala e seus resultados permitem a aplicação de políticas públicas voltadas para a melhoria do ensino. As avaliações aplicadas em larga escala, devido às suas características, em geral são realizadas por meio de provas escritas, o que impossibilita a avaliação de algumas competências, que consequentemente são negligenciadas nessas avaliações, como é o caso da linguagem oral. O presente trabalho apresenta o sistema Avalia Online, desenvolvido com o objetivo de possibilitar a avaliação em larga escala da oralidade de crianças em fase de alfabetização a partir da leitura de textos, utilizando a avaliação automática. Como a avaliação da oralidade de maneira automática possui limitações, o sistema faz uso de uma abordagem colaborativa permitindo que avaliadores capacitados avaliem as leituras onde o sistema apresenta incertezas e que contribuam entre si nas dúvidas que eventualmente ocorram. O sistema foi avaliado a partir de dois experimentos: o primeiro voltado á avaliação do classificador automático e o segundo voltado á avaliação da abordagem colaborativa. A partir desses experimentos, foram obtidos resultados que comprovam a importância do sistema proposto.CAPES - Coordenação de Aperfeiçoamento de Pessoal de Nível Superio