Developing a dashboard for faculty development in competency-based training programs: a design-based research project

Background: Canadian specialist residency training programs are implementing a form of competency-based medical education (CBME) that requires frequent assessments of entrustable professional activities (EPAs). Faculty struggle to provide helpful feedback and assign appropriate entrustment scores. CBME faculty development initiatives rarely incorporate teaching metrics. Dashboards could be used to visualize faculty assessment data to support faculty development.Methods: Using a design-based research process, we identified faculty development needs related to CBME assessments and designed a dashboard containing elements (data, analytics, and visualizations) meeting these needs. Data was collected within the emergency medicine residency program at the University of Saskatchewan through interviews with program leaders, faculty development experts, and faculty participating in development sessions. Two investigators thematically analyzed interview transcripts to identify faculty needs that were audited by a third investigator. The needs were described using representative quotes and the dashboard elements designed to address them.Results: Between July 1, 2019 and December 11, 2020 we conducted 15 interviews with nine participants (two program leaders, three faculty development experts, and four faculty members). Three needs emerged as themes from the analysis: analysis of assessments, contextualization of assessments, and accessible reporting. We addressed these needs by designing an accessible dashboard to present contextualized quantitative and narrative assessment data for each faculty member.Conclusions: We identified faculty development needs related to EPA assessments and designed dashboard elements to meet them. The resulting dashboard was used for faculty development sessions. This work will inform the development of CBME assessment dashboards for faculty.Contexte : Les programmes de résidence de spécialité au Canada mettent en œuvre une forme d’éducation axée sur les compétences (EASC) qui exige des évaluations formatives fréquentes des activités professionnelles confiables (APC). Les enseignants ont du mal à fournir une rétroaction utile et à attribuer des notes appropriées au niveau de confiance. Les initiatives de formation professorale des enseignants qui interviennent dans la EASC intègrent rarement leurs données psychométriques. Des tableaux de bord pourraient être utilisés pour visualiser les données d’évaluation du corps professoral afin de soutenir leur perfectionnement.Méthodes : En utilisant un processus de recherche orientée par la conception, nous avons déterminé les besoins de formation professorale liés aux évaluations dans la EASC et nous avons conçu un tableau de bord contenant des éléments (données, analyses et éléments visuels) pour répondre à ces besoins. Les données ont été recueillies dans le cadre du programme de résidence en médecine d’urgence de l’Université de Saskatchewan par le biais d’entretiens avec les responsables du programme, des experts en formation professorale et les enseignants participant aux séances de formation. Deux chercheurs ont procédé à une analyse thématique des transcriptions d’entrevues afin d’identifier les besoins des enseignants, et un troisième chercheur les a vérifiées. Les besoins ont été décrits à l’aide de citations représentatives et des éléments du tableau de bord conçus pour y répondre.Résultats : Entre le 1er juillet 2019 et le 11 décembre 2020, nous avons mené 15 entretiens avec neuf participants (deux responsables de programme, trois experts en formation professorale et quatre membres du corps professoral). Trois besoins sont ressortis comme thèmes de l’analyse : l’analyse des évaluations formatives, la contextualisation des évaluations formatives et l’accessibilité des rapports. Pour répondre à ces besoins, nous avons conçu un tableau de bord accessible présentant des données d’évaluation quantitatives et narratives contextualisées pour chaque membre du corps professoral.Conclusions : Nous avons identifié les besoins de formation professorale liés aux évaluations des APC et conçu les éléments d’un tableau de bord permettant d’y répondre. Le tableau de bord a été utilisé dans des séances de formation professorale. Ce travail orientera la réalisation de tableaux de bord afin de faciliter l’évaluation pour les enseignants dans le cadre de la EASC