Méthodes d'apprentissage profond pour la détection et la reconnaissance d'outils et d'activités chirurgicaux dans les vidéos laparoscopiques

In this thesis, we address the two problem of tool detection and fine-grained activity recognition in the operating room (OR), which are key ingredients in the development of surgical assistance applications. Leveraging weak supervision for temporal modeling and spatial localization, we propose a joint detection and tracking model for surgical instruments, circumventing the lack of spatially annotated dataset on this task. For a more helpful AI assistance in the OR, we formalize surgical activities as triplets of , and propose several deep learning methods, that leverages instrument's activation, spatial attention, and semantic attention mechanisms, to recognize these triplets directly from surgical videos. Evaluation is performed on large scale datasets, which we introduce in this thesis, obtaining state-of-the-art results for these tasksNous abordons les deux problèmes de détection d'outils et de reconnaissance d'activité à grain fin en salle d'opération, qui sont essentielles pour le développement d'applications d'assistance chirurgicale. En tirant parti d'une supervision faible pour la modélisation temporelle et la localisation spatiale, nous proposons un modèle de détection et de suivi conjoint pour les instruments chirurgicaux, contournant le manque de jeu de données annotées spatialement. Pour une assistance plus utile de l'IA dans la salle d'opération, nous formalisons les activités chirurgicales sous forme de triplets de , et proposons plusieurs méthodes d'apprentissage en profondeur, qui tirent parti de l'activation de l'instrument, des mécanismes d'attention spatiale et sémantique, pour reconnaître les triplés directement à partir de vidéos. L'évaluation est effectuée sur des ensembles de données, que nous introduisons dans cette thèse, et donne des résultats de pointe pour ces tâches