Learning based quality assessment for medical imaging in the context of liver cancer treatment

Le cancer du foie est le quatrième cancer le plus mortel au monde avec un taux de récidive élevé. Son traitement implique souvent une ablation ou une résection chirurgicale du tissu affecté. Pour améliorer les résultats de cette procédure, de nouvelles méthodes intègrent des interventions chirurgicales guidées par l’image, qui exploite différentes modalités d’imagerie médicale. Parmi ces modalités, on peut citer l’échographie, la tomographie (CT), l’imagerie par résonance magnétique (IRM) et la vidéo laparoscopique mono-vue (2D) ou stéréoscopique (3D). L’évaluation de la qualité de ces images et vidéos médicales est extrêmement critique aussi bien pour la fiabilité du diagnostic médical que pour la précision de la chirurgie. Cependant, l’exploitation des diverses modalités d’imagerie médicale pour l’évaluation de la qualité d’image est une tâche assez complexe. De plus, les performances de la chirurgie guidée par l’image, sont tributaires de la qualité de différentes tâches critiques telles que le recalage d’images, l’amélioration de la qualité et la segmentation d’image. Cette thèse est consacrée principalement à la recherche de solutions efficaces pour répondre à ces deux problématiques critiques, à savoir l’évaluation de la qualité de l’image dans le contexte médical et l’évaluation des performances des algorithmes de traitement d’images utilisés dans le diagnostic et la chirurgie guidée par l’image. Dans cette thèse, différentes méthodes d’évaluation de la qualité d’image issues des trois modalités d’imagerie médicale, à savoir les vidéos laparoscopiques 2D, les images laparoscopiques 3D et la tomographie sont proposées et évaluées. Plus précisément, pour les images et vidéos laparoscopiques mono-vue et stéréoscopiques, nous nous sommes focalisés sur l’évaluation de la qualité des images/vidéos brutes affectées par des distorsions. Pour les images CT, une nouvelle approche pour l’évaluation de la qualité d’image ainsi et que l’estimation du niveau de rehaussement de qualité est proposée. Une méthode préliminaire portant sur l’évaluation objective de la qualité d’images stéréoscopiques et basée sur des modèles statistiques exploitant les corrélations inter-vues a été développée et évaluée sur une base publique d’images stéréoscopiques de scènes naturelles en raison de l’absence de bases d’images médicales annotées. Pour parer à ce manque de données médicales, nous avons construit une nouvelle base de vi données à partir de séquences de vidéos laparoscopiques (2D) contenant quelques distorsions types à différents niveaux de sévérité. Cette base contient les résultats de tests psycho-visuels effectués par un panel d’experts du milieu médical et ainsi que de observateurs non experts. Nous avons aussi développé une méthode de classification des distorsions types dans les images laparoscopiques 2D basée sur l’apprentissage profond. Cette méthode a été étendue pour l’évaluation de la qualité objective sans référence des vidéos laparoscopiques 2D qui s’est révélée plus efficace que les méthodes comparables de l’état de l’art. Enfin, pour l’évaluation de l’amélioration du contraste des images CT, nous avons d’abord identifié les critères le plus pertinents permettant de quantifier le niveau d’amélioration. Une nouvelle stratégie basée sur l’apprentissage automatique en combinant différentes mesures d’évaluation de qualité de l’amélioration du contraste a été ainsi proposée. Dans cette méthode, les étapes d’apprentissage et de validation reposent sur les mesures de performance de la segmentation des images. Les résultats obtenus montrent une amélioration substantielle par rapport aux méthodes existantes. Les multiples contributions de cette thèse à différents niveaux ont permis de faire avancer un sujet assez complexe en raison du manque de données médicales annotées et de l’absence de consensus quant aux métriques de qualité d’images dans le contexte de l’imagerie médicale...Liver cancer is the fourth deadliest cancer in the world with a high rate of recurrence. Its treatment often involves ablation or surgical resection of the affected tissue. To improve the outcomes of this procedure, new methods incorporate image-guided surgical interventions, which require input from multiple imaging modalities. In the case of liver cancer treatment, these modalities are the Ultrasound, the Computed Tomography (CT) imaging, the Magnetic Resonance Imaging (MRI), monoscopic (2D) and stereoscopic (3D) laparoscopic videos. Quality assessment of these medical images and videos is extremely critical, throughout the diagnosis and treatment phases, not only for an improved diagnosis but also for an error-free performance of the surgery. However, multiple modalities with different characteristics like CT, MRI, ultrasound and laparoscopic videos make the quality assessment a challenging task. Moreover, in image-guided surgery, there are different image processing tasks involved like registration, enhancement and segmentation whose performance need to be evaluated. This thesis is mainly focused on finding solutions to both of these two critical problems, namely medical image quality assessment and performance evaluation of imaging tasks used in image-guided interventions. In this thesis, we have proposed image quality assessment methods for three of the most important imaging modalities of image-guided surgery namely 2D laparoscopic videos, 3D laparoscopic images and the CT. More specifically, for monoscopic and stereoscopic laparoscopic images/videos, we have focused on quality assessment of the non-processed images/videos affected by distortions, whereas for CT images we have proposed a new method for quality evaluation of their enhancement. First of all, we have developed a no-reference objective image quality assessment method for stereoscopic images based on joint statistical features. However, due to the lack of labeled 3D laparoscopic data, we could not validate the results of this method for medical images, and so, a standard natural stereo image dataset has been used for evaluation purpose. We have then taken on the issue of the lack of labeled data and have constructed a new 2D laparoscopic video quality database. Evaluations from both medical expert and non-expert viii observers have been included in this database. Thereafter we have developed an effective deep learning method for simultaneous distortion classification and ranking for 2D laparoscopic images. We have then further extended this method for no-reference objective quality assessment of 2D laparoscopic videos and have obtained the best results as compared to other state-of-the-art methods. For the evaluation of contrast enhancement in CT, we have first identified the most important criteria of enhancement and the appropriate metrics to quantify these criteria. Thereafter, we have proposed a novel goal-oriented machine learning-based strategy to combine these different contrast enhancement evaluation (CEE) metrics. For training and validation of our method, we have used the performance evaluation scores of the subsequent task, namely segmentation, as the labels. The results of our proposed method show a substantial improvement compared to state-of-the-art CEE metrics