Analyse de vidéos de microscopes chirurgicaux pour la reconnaissance automatique d'étapes en combinant SVM et HMM

National audienceIn image-guided surgery, the automatic extraction of information from the Operating Room (OR) has recently gained much interest. In particular, the automatic recognition of surgical phases, or more generally surgical events, allows bringing an additional help to surgeons, for intra or post-operative use. Clinical applications include the creation of post-operative reports, teaching, learning, surgical assessment, optimisation of OR management and of surgeries. In this article, we present a novel approach that focused on the automatic recognition of phases by microscope image analysis, which has never been done before. We used a hybrid method that combines supervised classification to extract binary visual cues and a discrete Hidden Markov Model to take into account the temporal aspect. Our framework was tested on two various datasets, including one specific type of neurosurgical intervention and one type of ophthalmological surgery. Cross-validation studies were carried out to find recognition rates of 90% for the first dataset and 93% for the second one. This will enable the system to be used in clinical applications such as post-operative surgical video indexation.Dans le vaste domaine de la chirurgie guidée par l'image, l'extraction automatique d'informations émanant d'une salle d'opération a récemment été source de nombreuses études. Plus particulièrement, la reconnaissance automatique des étapes, ou plus globalement des événements, d'une procédure chirurgicale pourrait permettre d'apporter une aide intra ou post-opératoire non-négligeable aux chirurgiens. Les applications visées par ces approches sont la création automatique de rapports post-opératoires, l'enseignement, l'évaluation, l'optimisation de la gestion des salles d'opérations ou l'aide au geste chirurgical. Dans cet article, nous proposons une approche qui tend vers la reconnaissance automatique des étapes d'une chirurgie via les vidéos issues des microscopes chirurgicaux, ce qui n'a encore jamais été expérimenté. Notre méthode est basée sur la combinaison d'une classification supervisée permettant d'extraire des attributs propres à chaque chirurgie, et d'une modélisation de séries temporelles par chaine de Markov cachée. Des validations croisées ont été menées sur deux types distincts de chirurgie : une chirurgie du cerveau et une chirurgie ophtalmologique. Des taux de reconnaissance respectifs de 90% et 93% ont ainsi été trouvés, ouvrant la possibilité à de nombreuses applications dans le domaine de la chirurgie guidée par l'image, comme l'indexation de vidéos chirurgicales