Augmented Reality in minimally invasive otologic surgery and transmodiolar cochlear implantation

Une exposition optimale est le prérequis pour la chirurgie otologique mini-invasive. La réalité augmentée permet d’enrichir l’environnement réel en y ajoutant des données sans le remplacer par un environnement virtuel et de visionner ces informations sur un seul écran en combinant la vision du champ opératoire et de l’imagerie. Cette technique est très peu développée en otologie. Ce projet vise à développer des solutions de réalité augmentée pour les chirurgies otologiques et l’implantation transmodiolaire. Pour préparer ce projet de réalité augmentée , nous avons étudié la visualisation de l’oreille moyenne par un endoscope virtuel basé sur des scanners de haute résolution. Puis, nous avons travaillé sur l’application de la réalité augmentée à la chirurgie otologique trans-tympanique afin de concevoir un système mini-invasif uniquement basé sur des algorithmes de vision grâce à la superposition des images des scanners pré-opératoires à celles enregistrées en temps réel correspondant à la vision per-opératoire du chirurgien sans nécessité de systèmes traditionnels de suivi (magnétique et/ou optique). Cela permet de visualiser les structures anatomiques de la caisse tympanique et de mobiliser un micro-instrument dans celle-ci sans lever le lambeau tympano-méatal. Parallèlement à cela, nous avons développé un système de réalité augmentée appliqué à l’implantation transmodiolaire qui permettait de visualiser le point d’entrée et l’axe du modiolus sur la vidéo chirurgicale. Au cours de ces travaux, nous avons pu montrer que la réalité augmentée avait un intérêt dans le développement de la chirurgie otologique mini-invasive que ce soit lors de la voie d’abord ou de la technique chirurgicale et ouvre des perspectives pour des travaux futurs.Optimal exposure is necessary for minimally invasive otologic surgery. Augmented reality allows to enrich the real environment by adding data without replacing it by a virtual environment and to view this information on a single screen by combining the vision of the operating field and the imaging. This technique is very little described in otology in the literature. This project aims to develop augmented reality solutions for otological surgeries and transmodiolar implantation. To prepare this augmented reality project, we studied the visualization of the middle ear by a virtual endoscope based on preoperative high resolution CT-scans. Then, we worked on the application of augmented reality to transtympanic otologic surgery in order to design a minimally invasive system based solely on vision algorithms thanks to the superposition of images from pre-operative CT-scans with those recorded in real time corresponding to the surgeon's intraoperative vision without the need for traditional tracking systems (magnetic and/or optical). This allowed us to visualize the anatomical structures of the tympanic cavity and to mobilize a micro-instrument in the tympanic cavity without lifting the tympano-meatal flap. At the same time, we developed the augmented reality system applied to transmodiolar implantation that allowed visualization of the entry point and axis of the modiolus on the surgical video which are not visible directly by vision of the otologic surgeon. During this work, we were able to show that augmented reality has an interest in the development of minimally invasive otologic surgery, both in the approach and in the surgical technique, and opens perspectives for future work