Multimodal image fusion for prostate cancer characterization

Cette thèse s'inscrit dans le contexte de la caractérisation du cancer de la prostate à partir de données d'imagerie multimodale. L'objectif est d'identifier et de caractériser les tumeurs prostatiques à partir d'observation in-vivo, incluant imagerie par résonance magnétique multiparamétrique (IRMm), tomodensitométrie (TDM) et tomographie par émission de positons (TEP), avec une référence biologique sous forme de lames histologiques fournies par l'analyse anatomopathologique de la prostate après prostatectomie radicale. Nous proposons dans un premier temps deux méthodes de recalage afin de réaliser la mise en correspondance des données multimodales dans un référentiel spatial commun défini par l'IRM. Le premier algorithme s'attache à l'alignement des images TDM/TEP et IRM, en combinant information de contour et probabilité de présence de la prostate. Le second a pour objectif de recaler les images histologiques et IRM. En suivant le protocole de Stanford, la pièce de prostatectomie est découpée plus finement fournissant ainsi plus de lames histologiques qu'en routine clinique. Leur correspondance avec les coupes IRM est alors estimée à l'aide de l'information à priori de la découpe et de points saillants (SURF) extraits dans les deux modalités. Cette initialisation sert de base à un recalage affine puis non-rigide basé sur l'information mutuelle et des cartes de distance obtenues à partir des structures intraprostatiques. Dans un second temps, des caractéristiques structurelles (Haar, Gabor, etc) et fonctionnelles (Ktrans, Kep, SUV, TLG, etc) sont extraites en chaque voxel de la prostate à partir des images IRM et TEP. À ces vecteurs de caractéristiques sont associés les labels biologiques correspondant obtenus lors de l'analyse anatomopathologique. Parmi ces labels, nous disposons d'un score d'agressivité appelé score de Gleason et de scores immunohistochimiques quantifiant certains aspects biologiques des tissus, tels que l'hypoxie et la prolifération cellulaire. Finalement, ces couples (vecteurs de caractéristiques/informations biologiques) servent de données d'apprentissage à l’entraînement de classifieurs RF et SVM, utilisés par la suite pour caractériser les tumeurs à partir de nouvelles observations in-vivo. Dans ces travaux, nous réalisons une étude de faisabilité sur neuf patients.This thesis concerns the prostate cancer characterization based on multimodal imaging data. The purpose is to identify and characterize the tumors using in-vivo observations including mMRI and PET/CT, with a biological reference obtained from anatomopathological analysis of radical prostatectomy specimen providing histological slices. Firstly, we propose two registration methods to match the multimodal images in the the spatial reference defined by MRI. The first algorithm aims at aligning PET/CT images with MRI by combining contours information and presence probability of the prostate. The objective of the second is to register the histological slices with the MRI. Based on the Stanford protocol, a thinner cutting of the radical prostatectomy specimen is done providing more slices compared to clinical routine. The correspondance between histological and MRI slices is then estimated using a combination of the prior information of the slicing and salient points (SURF) extracted in both modalities. This initialization step allows for an affine and non-rigid registration based on mutual information and intraprostatic structures distance map. Secondly, structural (Haar, Garbor, etc) and functional (Ktrans, Kep, SUV, TLG, etc) descriptors are extracted for each prostate voxel over MRI and PET images. Corresponding biological labels obtained from the anatomopathological analysis are associated to the features vectors. The biological labels are composed by the Gleason score providing an information of aggressiveness and immunohistochemistry grades providing a quantification of biological process such as hypoxia and cell growth. Finally, these pairs (features vectors/biological information) are used as training data to build RF and SVM classifiers to characterize tumors from new in-vivo observations. In this work, we perform a feasibility study with nine patients