Contraintes géométriques et topologiques pour la segmentation d’images médicales : approches hybrides variationnelles et par apprentissage profond

Image segmentation is a central process in computer vision, especially for medical image analysis. When planning a radiotherapy treatment, it is necessary to segment the target tumour as well as adjacent healthy organs (so-called organs at risk). Although convolutional neural networks exhibit accurate segmentations, some artefacts remain (isolated pixels, holes etc.). Thus, incorporating prior knowledge into a segmentation process, whether it be topological prescriptions such as the number of related components, the (partial) convexity of the boundary of an object, or geometrical constraints via, for example, the penalisation of the volume by constraints, is critical. In particular, when one wishes to preserve contextual relationships between objects and obtain a segmentation that is homeomorphic to a known a priori. Inspired by this observation, this thesis aims to provide a hybrid variational/deep learning framework including geometric and topological constraints in the training of convolutional neural networks, in the form of a penalty in the loss function. The objective is to improve the quality of medical image segmentations, for which the contours of the objects to be segmented are not well defined. Thus, a first model includes geometric constraints through a regularisation based on the weighted total variation, a volume/area penalty and a Mumford-Shah term. In a second model, we interpret the segmentation process as a registration task pairing the ground truth and the image to be labelled, based on non-linear elasticity principles. The application of incompressibility conditions on the determinant of the Jacobian matrix of the deformation guarantees preservation of volume and topology, without self-intersection of the material. Theoretical results highlighting the mathematical soundness of the models are provided, as well as an analysis of appropriate numerical algorithms based on a splitting strategy and yielding subproblems that admit, for the most part, closed form solutions. The experiments are mainly conducted on the SegTHOR database which contains thoracic CT scans of patients treated by radiotherapy and aim to segment 4 organs at risk to be preserved from radiation. They demonstrate that our methods provide significant improvements over existing unconstrained approaches, both in terms of quantitative criteria such as the measurement of region overlap and qualitative assessment, especially when the classes are unbalanced.La segmentation d’images constitue un traitement central de la vision par ordinateur, et particulièrement pour l’analyse d’images médicales. Lors de la planification d’un traitement par radiothérapie, il est nécessaire de segmenter la tumeur cible ainsi que les organes sains adjacents (appelés organes à risque). Si les réseaux de neurones convolutifs exhibent des segmentations précises, certains artefacts subsistent néanmoins (pixels isolés, trous etc.). Ainsi, l’inclusion d’informations a priori dans une tâche de segmentation, qu’il s’agisse de contraintes topologiques telles que le nombre de composantes connexes, la convexité partielle de la frontière d’un objet, ou de prescriptions géométriques via par exemple la pénalisation du volume par des contraintes, s’avère critique. Notamment, lorsqu’on souhaite préserver les relations contextuelles entre les objets et obtenir une segmentation homéomorphe à un a priori connu. Motivé par cette observation, ce travail de thèse vise à fournir un cadre hybride variationnel/apprentissage profond incluant des contraintes géométriques et topologiques dans l’apprentissage des réseaux de neurones convolutifs, sous la forme d’une pénalisation dans la fonction de perte. L’objectif réside dans l’amélioration de la qualité des segmentations d’images médicales, pour lesquelles les contours des objets à segmenter ne sont pas bien définis. Ainsi, un premier modèle inclut des contraintes géométriques par le biais d’une régularisation bâtie sur la variation totale pondérée, d’une pénalisation du volume/de l’aire, et d’un terme d’attache aux données de Mumford-Shah. Dans un second modèle, nous interprétons le processus de segmentation comme une tâche de recalage appariant la vérité terrain et l’image à étiqueter, fondée sur des principes d’élasticité non linéaire. L’application de conditions d’incompressibilité sur le déterminant de la matrice jacobienne de la déformation garantit la préservation du volume et de la topologie, sans auto-intersection de la matière. Des résultats théoriques soulignant la solidité mathématique des modèles sont fournis, ainsi qu’une analyse des algorithmes numériques appropriés basés sur une stratégie de séparation de variables et donnant des sous-problèmes qui admettent, pour la plupart, des solutions closed form. Les expériences sont principalement menées sur la base de données SegTHOR qui contient des scanners thoraciques de patients soignés par radiothérapie et dont on cherche à segmenter 4 organes à risque à préserver des rayons. Elles démontrent que nos méthodes apportent des améliorations significatives par rapport aux approches non contraintes existantes, à la fois en termes de critères quantitatifs tels que la mesure du chevauchement des régions et d’évaluation qualitative, en particulier lorsque les classes sont déséquilibrées