Validation of an instrument performance evaluation of engineers course by theory of response to item

In recent decades, a new theory called Item Response Theory (IRT) has been progressively studied and successfully applied in the construction and analysis of tests. The IRT proposes a set of mathematical models that relate one or more latent traits of an individual with the probability of this to give right answer to an item, this relation is expressed in such a way that the higher the skill, the greater the probability of getting the item (ANDRADE et al. 2000). This bias, the present study aimed to construct and validate an instrument for evaluating the performance of undergraduate engineers, as perceived by the students, from the Item Response Theory. Data collection was conducted through a questionnaire consisting of twenty-six closed items based on Likert scale with responses ranging into four levels of agreement. The instrument assessed the technical and behavioral skills of the undergraduate program coordinator grouped into four dimensions: interpersonal / leadership, responsibility, communication and productivity / commitment for data analysis, we resorted to the exploratory factor analysis and factor analysis of full information . For the validation of the questionnaire used the Logistic Model Parameters 2 (ML2) proposed by TRI. The results indicate twenty items with good ability to discriminate the response of the individual, giving quality to items. The remaining six items, indicated as unsatisfactory should be reworked, retested and validated in future studies, as well as their dimensions.Nas últimas décadas, uma nova teoria denominada Teoria de Resposta ao Item (TRI) vem sendo, progressivamente, estudada e aplicada com sucesso na construção e análise de testes. A TRI propõe um conjunto de modelos matemáticos que relacionam um ou mais traços latentes de um indivíduo com a probabilidade deste dar certa resposta a um item, sendo esta relação expressa de tal forma que, quanto maior a habilidade, maior a probabilidade de acerto no item (ANDRADE et al., 2000). Nesse viés, o presente estudo buscou construir e validar um instrumento de avaliação de desempenho de coordenadores de curso de graduação, segundo a percepção dos alunos, a partir da Teoria da Resposta ao Item. A coleta de dados foi realizada mediante questionário composto de vinte e seis itens fechados, baseado na escala Likert, com respostas variando em quatro níveis de concordância. O instrumento avaliou as competências técnicas e comportamentais do coordenador de curso de graduação agrupadas em quatro dimensões: relacionamento interpessoal/ liderança, responsabilidade, comunicação e produtividade/ compromisso Para análise dos dados, recorreu-se à análise fatorial exploratória e à análise fatorial de informação plena. Para a validação do questionário utilizou-se o Modelo Logístico de 2 Parâmetros (ML2) proposto pela TRI. Os resultados encontrados apontaram vinte itens com boa capacidade de discriminar a resposta do indivíduo, conferindo qualidade aos itens. Os seis itens restantes, apontados como insatisfatórios devem ser reformulados, testados novamente e validados em estudos futuros, bem como as respectivas dimensões