Analysis and validation of a placement test in English: a case study in technological courses

Este trabalho tem por objetivo coletar e analisar evidências relacionadas a um teste de classificação em Inglês, mediado por computador, aplicado em uma Faculdade de Tecnologia Pública que está localizada a 60 km da capital de São Paulo. Os dados obtidos foram coletados nos testes de classificação aplicados a alunos ingressantes dos cursos de Eventos, Logística (manhã e noite) e de Gestão da Tecnologia da Informação, no período compreendido entre o 2º semestre de 2010 ao 2º semestre de 2012. Outros dados complementares foram obtidos em dois questionários de apreciação da prova, um deles respondido por 141 (cento e quarenta e um) ingressantes no 1º semestre de 2012 e o outro por dois professores de inglês da instituição, que serviram de base para o estudo da validação do teste. O propósito da pesquisa foi o de avaliar a pertinência e qualidade dos itens que compõem cada nível dos testes de classificação, em comparação com o que está previsto como conteúdo programático de língua inglesa nos cursos, apresentado nas ementas das disciplinas Inglês I a VI. A pesquisa foi tratada como um estudo de caso, de caráter descritivo e exploratório, considerando para análise dados quantitativos e qualitativos, com o objetivo de verificar e discutir a validade de construto, de conteúdo e de face nos testes de classificação, consideradas como aspectos substanciais para o processo de sua validação. Os resultados da análise comparativa revelaram que o teste necessita de modificações, uma vez que o construto que permeia as ementas dos cursos não está nitidamente definido no teste, especialmente no que se refere à ausência do componente oral em alguns dos seus níveis. Entretanto, quanto à validade de conteúdo, observou-se que a maioria dos itens contempla o que está previsto nas ementas. Em relação à validade de face, os resultados apontarem que os examinandos e professores que participaram da pesquisa consideraram o teste adequado. A análise do desempenho dos examinandos e a avaliação dos itens do teste permitiram diagnosticar aspectos das práticas avaliativas da instituição e sua relevância para o processo ensino/aprendizagem de língua estrangeira. Nesse sentido, espera-se que este trabalho possa contribuir para futuras pesquisas sobre elaboração, processamento e validação de instrumentos avaliativos em língua estrangeira.The objective of this study is to collect and analyze evidences related to an online English placement test which is being administered in a public technological college located 60 km from the capital of São Paulo. Data were collected on this test administered to freshmen students of Events, Logistics (morning and evening) and Management Information Technology courses in the period between the second half of 2010 to the second half of 2012. Other complementary data were obtained by two questionnaires, one of them answered by 141 freshmen in the first half of 2012 and the other answered by two English teachers of the college, which formed the basis for the study of the validation of the test. The purpose of the research was to assess the relevance and quality of the test items that make up each level of the placement test in comparison to what is foreseen as syllabus for English language courses I through VI. The research was treated as a case study, with a descriptive and explanatory character considering quantitative and qualitative data analysis in order to verify and discuss the construct validity, content validity and face validity of the online placement test considered as substantial aspects for process validation. The results of the comparative analysis revealed that the online placement test requires modifications, since the construct that permeates the syllabus of the courses is not clearly defined in the test, particularly there is an oral missing evaluation in some levels. However, as to content validity, it was observed that most of the items that are part of the test include what is referred to on the syllabus. Regarding face validity the results suggest that most of the examinees and teachers who participated in the survey considered the test appropriate. The performance analysis and evaluation of the examinees and the way the test was constructed helped diagnosing aspects of evaluation practices in the institution and its relevance to the teaching / learning of a foreign language. We intend through this study to contribute to the current research on development, implementation and validation of evaluation instruments in a foreign language