Development and evaluation of the effectiveness of a distance learning system based on ophthalmological clinical cases : a randomized study

Introdução: A educação à distância é uma ferramenta de ensino cada vez mais utilizada nas escolas médicas e em diversas especialidades, incluindo a oftalmologia. Apesar disso, programas online de simulações clínicas ainda têm sido pouco utilizados no Brasil. Objetivos: desenvolver um site de casos clínicos de estrabismo e verificar a efetividade do aprendizado baseado em educação à distância para médicos residentes de oftalmologia. Método: estudo de intervenção prospectivo randomizado. O site de 15 casos clínicos reais de estrabismo, extraídos da prática clínica de oftalmologia do Hospital de Clínicas da UNICAMP foi construído usando a plataforma online de apoio ao ensino e aprendizado Moodle e disponibilizado na web com acesso por login e senha. Dezesseis médicos residentes do primeiro ano de oftalmologia foram divididos em dois grupos aleatórios: um que foi submetido à intervenção (acesso ao site) e outro que não foi submetido à intervenção. Foram apresentados, em momentos distintos (antes do acesso do grupo da intervenção ao site e após o acesso), dois casos clínicos adicionais impressos com perguntas referentes à semiologia, hipótese diagnóstica e conduta. Foram comparadas as médias globais das notas e as médias das notas de cada questão isoladamente contida nos casos clínicos antes e após o acesso ao site entre os grupos de acesso e de não acesso, bem como as médias da notas dos casos clínicos pré e pós acesso com as médias das notas da prova escrita regular. Foi feita também a análise estatística das notas do questionário de avaliação do site respondido pelos residentes do grupo de acesso. Resultados: não houve diferença estatisticamente significativa entre os grupos, tanto em relação às notas globais (p=0,9677) como de cada questão isolada (p=0.4968 para a questão referente à semiologia, p=0.7386 para a questão referente às hipóteses diagnósticas e p=0.8407 para a questão referente à conduta). Para ambos os grupos o desempenho na prova escrita teórica foi superior ao nos casos clínicos impressos feitos (p= 0,0092 na comparação com as notas pré acesso e p= 0,0021 na comparação com as notas pós acesso). Em relação ao questionário de avaliação do site, o item que teve a menor mediana e a menor nota mínima foi a velocidade de carregamento do curso, enquanto o item que teve a maior mediana e a maior nota mínima foi referente à qualidade e relevância do conteúdo do curso. Conclusão: Obtivemos sucesso no desenvolvimento do sistema de aprendizado online por meio de casos clínicos de estrabismo. Com relação às avaliações dos alunos a respeito do mesmo, houve aprovação do método pela maioria dos participantes que tiveram acesso ao curso. Apesar de não ter sido verificada diferença de desempenho entre os grupos de acesso e de não acesso, o estudo foi pioneiro em nosso serviço, já que não havia sido desenvolvido nenhum tipo de programa de simulações clínicas anteriormente, tendo o estudo demonstrado que, pelo menos o método a distância não é inferior ao aprendizado não assistido por casos clínicos onlineIntroduction: Web-based e-learning is a teaching tool which is being used with increased frequency in many medical schools and specialties such as ophthalmology. However, web-based clinical case simulation programs are still underused in Brazil. Aims: This study aimed to develop an Internet-based course by using a clinical case presentation scenario, geared towards residents at the Ophthalmo-Otolaryngology Department of the University of Campinas, and to evaluate the effectiveness of this method in graduate medical education. Methods: This was an interventional randomized study. First, a website was built using the distance learning platform called Moodle, and 15 real clinical cases of strabismus extracted from the clinical practice of the Department were developed in multimedia format and made available, with access by username and password. Sixteen first-year ophthalmology residents were divided into two randomized groups: one experimental group, which was submitted to intervention (access and use of the e-learning site) and another, control group, which was not submitted to intervention. In order to evaluate the extent of learning achieved by both groups, it was presented, in distinct moments (before the group intervention having access to the site and after that), two additional printed clinical cases with questions regarding semiology, diagnostic hypothesis and patient management. The global average achievement scores and the average scores for each question of these clinical cases were calculated for both sittings, before and after accessing the site, and were compared between both groups of students. The average scores for clinical cases before and after accessing the site were also compared by using the written regular test. A statistical analysis was carried out for the site evaluation questionnaire answered by the residents of the experimental group. Results: there was no statistically significant difference between the groups for both global scores (p=0.9677) and isolated question scores (p=0.4968 for the question about semiology, p=0.7386 for the question about the diagnostic hypothesis and p=0.8407 for the question about patient management). The written regular test scores were superior to the written clinical case scores for both groups (p= 0.0092 in comparison with the scores before access and p= 0.0021 in comparison with scores after access for the experimental group). Regarding the site evaluation questionnaire, which scores were generally high or very high, the course loading speed was the item presenting the lowest mean and the lowest minimal score; whereas the quality and relevance of the course content was the item presenting the highest mean and the highest minimal score. Conclusion: We were able to successfully develop the e-learning site and respective clinical cases. In relation to student evaluation results, the method was approved by most participants who had access to the on-line course. Despite the fact that there was no statistically significant difference between the access and the non-access groups, the study was pioneer at our service, since a clinical case on-line program had never been developed previously. Therefore, this study was able to demonstrate at least an equivalence relation between e-learning and traditional method