A Busca pela minimizaçao dos efeitos da subjetividade na avaliaçao da escrita em língua estrangeira

Orientador: José Erasmo GruginskiInclui apendiceDissertaçao (mestrado) - Universidade Federal do Paraná, Setor de Ciencias Humanas, Letras e Artes, Programa de Pós-Graduaçao em Letras. Defesa: Curitiba, 2005Inclui bibliografia e anexosResumo: Esta dissertação, fundamentada em pesquisa teórica e empírica, tem o objetivo de buscar alternativas que possam minimizar os efeitos da subjetividade na avaliação da escrita em língua estrangeira. Seu referencial teórico tem por base uma revisão da literatura que compreende a teoria da avaliação, suas características gerais, seus princípios, os tipos de testes e seus objetivos, cujo propósito é o de fundamentar os aspectos levantados na literatura sobre a avaliação da escrita, sua caracterização como avaliação de desempenho e a explanação do processo de mensuração multifacetada do modelo de Rasch. A análise empírica centra-se nas correções de trinta e nove composições efetuadas por três corretores distintos, com o objetivo de evidenciar as divergências dos resultados, considerando os diversos fatores que envolvem os corretores, a habilidade dos alunos e o grau de dificuldade do instrumento de avaliação. A partir do embasamento teórico da literatura pesquisada e do resultado das correções, este estudo demonstra algumas medidas que podem ser adotadas para reduzir a subjetividade na avaliação, como, por exemplo, a conferência entre corretores, o cálculo de médias entre as notas atribuídas e a análise das facetas que interferem nos resultados, por meio de um software denominado FACETS. Palavras-chave: lingüística aplicada; avaliação da escrita; critérios de correção; efeitos da subjetividade.Abstract: This dissertation is based on theoretical and empirical research with the objective of searching for alternatives which may come to minimize the effects of subjectivity in the assessment of writing in a foreign language. Its theoretical references comprise a literature review on the theory of assessment, its general characteristics, its principles, the kinds of evaluation and their purposes, aiming at providing theoretical underpinnings for the issues raised about the evaluation of writing, its characteristics as performance assessment and the explanation about the process of the Rasch Model multi-faceted measurement. The empirical analysis focuses on the corrections of thirty-nine compositions by three different raters with the purpose of achieving divergent results, considering various factors which involve the raters, the ability of the writers and the level of difficulty of the evaluation instrument. From the theoretical foundations in the literature review and the results of the ratings, this research demonstrates some measures which may be adopted in order to reduce subjectivity in assessment, such as, for instance, conferencing between raters, the calculation of average scores amongst the grades attributed and the analysis of the facets which interfere in the results through a software program named FACETS. Key-words: applied linguistics; writing assessment; evaluation criteria; effects of subjectivity