A validation study of the virtual-reality neurosimulation (NeuroTouch) in neurosurgical training

The dominant method of training and assessment of neurosurgical trainees is in traditional apprenticeship settings where students learn from their more experienced mentors. Objective assessment of neurosurgical technical skills in the operating room is difficult and educators have emphasized the need to develop and use objective and meaningful assessment tools that are reliable and valid to assess the acquisition and progress of trainees' surgical skills. Novel technologies, such as simulation, may play important roles in the training of future expert neurosurgeons. The purpose of this study was to validate new objective measures (metrics) of neurosurgical technical skills performance during simulated brain tumor resection using a virtual reality simulator (NeuroTouch). A total of 112 participants were recruited for this study including 16 experts (neurosurgery staff) and 96 novices (15 neurosurgery residents, and 81 medical students). Each participant performed 18 simulated brain tumor resections. The metrics for assessing performance in this study were completed through activities using the simulator and consisted of assessing: percentage of brain tumor resected, volume of surrounding normal brain tissue removed, sum of force applied during tumor resection, instrument path length, frequency of pedal activation, and duration for task completion. The results demonstrated that this system has face and content validity. NeuroTouch can be used to differentiate between experts and novices based on their technical performance and this component can potentially be beneficial for neurosurgery residency candidates screening procedures. Expert neurosurgeons (neurosurgery staff) resected statistically less tumor tissue and statistically less surrounding simulated normal brain tissue than novices did. This information suggests that experts focused more on safety of the surgical procedure compared to novices. By analyzing experts' neurosurgical technical skills performance on these different metrics we were able to establish benchmarks for goal proficiency-based training of neurosurgery residents. We conclude that examining expert neurosurgical performance in simulated settings such as NeuroTouch provides researchers with novel metrics for assessment. Identification of expert proficiency can lead to improvements in resident training and assessment.La méthode principale d'entrainement et d'évaluation des stagiaires en neurochirurgie est dans un environnement d'apprentissage traditionnel avec des enseignants qui ont une bonne expérience de carrière. Il est difficile d'évaluer d'une manière objective les aptitudes techniques des stagiaires dans la salle d'opération. Les enseignants ont souligné le besoin de développement et de l'utilisation d'outils objectifs, fiables et valides dans l'évaluation des connaissances acquises des stagiaires et du progrès de leurs aptitudes chirurgicales. Les technologies novatrices, telle que la simulation, pourraient jouer un rôle important dans l'entraînement des futurs Neurochirurgiens experts. Cette étude visait à valider des nouvelles mesures (métriques) objectives pouvant évaluer la performance des aptitudes techniques neurochirurgicales durant une résection de tumeur à l'aide d'un simulateur de réalité virtuelle (NeuroTouch). Un total de 112 participants ont étés recrutés pour cette étude incluant 16 experts (personnel de Neurochirurgie) et 96 novices (15 stagiaires et 81 étudiants médicaux). Chaque participant a performé 18 excisions de tumeurs cérébrales simulées. Les critères d'évaluation des résultats de cette étude étaient complétés à travers des activités utilisant le simulateur et aussi incluant: le pourcentage de volume cérébral excisé, le volume de tissu normal cérébral avoisinant enlevé, la force totale appliquée durant l'excision de la tumeur, la longueur du trajet de l'instrument, la fréquence d'activation de la pédale et la durée pour compléter la tâche en son entièreté. Les résultats de ce système ont démontré sa validité apparente et sa validité de contenu. Donc, le simulateur NeuroTouch pourrait être un outil d'évaluation du niveau d'expertise technique des candidats Résidents en neurochirurgie. De plus, cet outil d'évaluation pourrait offrir un avantage potentiel dans les procédures de sélection de ces candidats. D'après l'ensemble des données de cette étude, les neurochirurgiens de niveau expert ont pu enlever moins de tissu tumoral et moins de tissu normal cérébral avoisinant comparé à ceux de niveau novice. Ceci suggère que les experts ont visé la sécurité de la procédure chirurgicale comparé aux novices. L'analyse des compétences techniques des neurochirurgiens experts nous a permis d'établir des points de référence dans un entraînement chirurgical à but optimal. Nous venons donc à la conclusion que l'étude et la performance d'expertise en neurochirurgie dans un environnement de simulation de réalité virtuelle tel que le NeuroTouch, fournissent les recherchistes avec des nouvelles mesures d'évaluation. L'identification de compétences d'expertise peut entraîner une amélioration de l'entraînement et de l'évaluation des Résidents en neurochirurgie