Avaliação do desempenho docente em Educação Física: análise da variância dos resultados obtidos através do sistema de observação de aulas

Tese de Doutoramento em Ciências do DesportoEste trabalho teve como objetivos o estudo da variabilidade dos dados resultantes da aplicação do guião de observação da componente científica e pedagógica em uso na avaliação do desempenho docente, no âmbito da lecionação da disciplina de Educação Física, a validação desse sistema de observação através do requisito da fiabilidade e saber das relações entre os diferentes grupos de observadores. Para o efeito, os 68 participantes no estudo, distribuídos por três grupos mediante o critério da formação em supervisão pedagógica e ou em ADD, observaram por duas vezes, no mínimo com a diferença de uma semana entre a primeira e a segunda observação, quatro registos audiovisuais, correspondendo a quatro aulas da disciplina, aplicando o guião de observação legalmente instituído. Os quatro parâmetros que integram o guião originaram as nossas variáveis dependentes. Os resultados da aplicação de medidas de tendência central e de medidas de dispersão parecem demonstrar uma heterogeneidade alta ou muito alta das classificações obtidas no total das aulas e em cada uma das quatro variáveis dependentes. Com recurso ao índice estatístico Kappa de Cohen, a fiabilidade interobservadores evidencia, na sua grande maioria dos casos, um acordo insignificante ou mediano. Relativamente à fiabilidade intraobservadores, de rigor duvidoso nestes resultados, o coeficiente de correlação intraclasse momento-produto de Pearson mostra uma correlação excelente ou moderada na observação e classificação das variáveis dependentes do estudo no seio dos grupos com e sem formação em supervisão pedagógica ou em ADD, sendo que no grupo dos alunos da UTAD os resultados revelam, fundamentalmente, um acordo fraco. A análise inferencial foi conseguida através da aplicação de testes paramétricos, o Teste t de Student e a ANOVA, e não-paramétricos, o Teste de Mann-Whitney, consoante o tipo de distribuição dos dados. Em forma de conclusão última, o conjunto de testes de hipóteses realizado é, no entender dos investigadores, inconclusivo. Na análise efetuada não encontramos um padrão de observação que se mantenha estável no seio dos grupos constituídos das variáveis independentes. A causa para o sucedido parece-nos dever-se à falta de fiabilidade do instrumento, originada pela enorme variabilidade e dispersão dos dados, e que, por sua vez, advém da subjetividade que enforma o instrumento de observação, do tipo escala de classificação.Recent work aimed to fundamentally study the variability of the data resulting from application of the observation script of scientific and pedagogical component in use in the evaluation of teacher performance within the teaching of Physical Education, the validation of this system of observation by the reliability requirement and knowledge of the relationships between the different observer groups. To this end, the 68 participants in the study, divided into three groups by the criterion of training in pedagogical supervision and or ADD, observed twice, at least with the difference of one week between the first and second observation, four audiovisual records, corresponding to four classes of the subject, applying the observation script legally instituted. The four parameters that are part of the script originated our dependent variables. The results of applying measures of central tendency and dispersion measures appear to show a high or very high heterogeneity of the marks obtained in all classes and in each of the four dependent variables. Using statistical index Kappa Cohen, interobserver reliability shows, in the vast majority of cases, an insignificant or median agreement. Regarding the intraobserver reliability of dubious rigor in these results, the intraclass correlation coefficient Pearson product-moment shows a great or moderate correlation with observing and classifying the dependent variables of the study in groups with and without training in pedagogical supervision or in ADD , and the group of students from UTAD of the results reveal fundamentally a weak deal. The inferential analysis was achieved by applying parametric tests, the Student t test and ANOVA and non-parametric Mann-Whitney test, depending on the type of data distribution. In conclusion, the set of hypothesis tests performed, is according to the researchers, inconclusive. In the analysis performed we did not find a pattern of observation to remain stable within the established groups of independent variables. The cause seems to us due to the lack of reliability of the instrument that seems to be due to the fact that the enormous variability and dispersion of the data and, in turn, derives from the subjectivity that forms the observation instrument, of the type rating scale