Interpretability of Deep Learning for Medical Image Classification: Improved Understandability and Generalization

The application of deep learning to medical imaging tasks has led to exceptional results in several contexts, including the analysis of human tissue samples. Convolutional neural networks (CNNs) constitute a highly performant model, that can almost perfectly detect even the smallest tumor cells in tissue biopsies. These models may have a great potential to support physicians if introduced in the clinical routines. Despite their impeccable performance on the test sets, CNNs fail in the real-world settings of the clinical workflow, lacking generalization capabilities to unseen data coming from diverse domains. New approaches shall be researched to evaluate whether a model has learned to detect correct patterns and can provide a reliable outcome. Particularly in the medical domain, understanding what are the limitations of a model is a compelling task, to ensure physicians that the model predictions are in line with the standards of clinical practice and can thus be considered in clinical routines. This thesis investigates this task by developing new interpretability techniques, with the aim of making the inner working of deep learning classifiers understandable to physicians and applicable to new inputs. By narrowing the focus onto microscopy images of breast cancer, my work starts by demonstrating that prior knowledge is a valuable source of input for explaining the model behavior. I introduce information about where the nuclei are located in the images to generate visual explanations that demonstrate that the model predictions are based on the pixels inside the nuclei contours. I then propose a method called Regression Concept Vectors (RCVs) to produce explanations based on the representation of arbitrary concepts that can be obtained as measures directly extracted from the images or annotated by experts. This approach demonstrates that variations of the texture in the images are relevant to the model. Going beyond the purpose of generating explanations, I directly tackle the generalization deficiencies of existing models. I propose a pruning system that uses RCVs to remove from the model's learning process the undesired behavior of capturing content about unwanted features. As an example, I analyze the removal of the implicitly learned invariance to object scale in models that are pre-trained on natural images, since scale is instead a relevant measure for the analysis of medical images. I then guide the training of CNNs to learn morphology features while discarding the confounding information about data provenance, demonstrating that the resulting model has increased generalization capabilities.La recherche sur le deep learning appliqué aux images médicales a conduit à des résultats d'analyse presque parfaits dans de multiples contextes tels que les images de biopsie d'organe. Les réseaux d'apprentissage convolutifs, appelés Convolutional Neural Networks (CNN), constituent un modèle extrêmement performant, qui peut être appliqué pour identifier les plus petites cellules tumorales dans les biopsies d'organes avec une précision exceptionnelle. S'ils étaient introduits dans les routines cliniques, les CNN offriraient un énorme potentiel pour soutenir le personnel médical. Néanmoins, les capacités des CNN ne sont parfaites que sur les données de tests expérimentaux et échouent dans l'environnement de flux de travail clinique du monde réel. Ces modèles ne s'avèrent pas suffisamment capables d'étendre leur capacité d'analyse à des données nouvells, et donc de généraliser leurs performances sur des données provenant de nouvelles sources, rendant impossible leur application dans les routines de laboratoire. Il existe un besoin de générer de nouvelles approches qui permettent de vérifier si un modèle a réellement appris les motifs corrects dans les données pour donner une réponse fiable. Comprendre les limites des CNN et y remédier est une tâche extrêmement importante pour rassurer le personnel médical que les réponses du processus automatisé sont conformes aux normes de la pratique clinique. Le but de ce travail de thèse est de remplir cette tâche à travers l'investigation et la conception de nouvelles technologies d'interpretabilité, qui peuvent clarifier et expliquer le mécanisme d'apprentissage ainsi que permettre la compréhension des résultats du deep learning par le personnel médical et expliquer, en les documentant, les limites. En restreignant le champ d'application aux images microscopiques du cancer du sein, mon travail de thèse commence par démontrer que les connaissances préalables sont une source d'information importante pour expliquer ce que le modèle a appris. En introduisant des informations sur les positions des noyaux dans les images, j'ai développé une méthode pour générer des explications visuelles, qui illustrent que la réponse du modèle est basée sur les pixels dans les noyaux. J'ai ensuite développé une approche appelée Regression Concept Vectors (RCV) pour expliquer le modèle à l'aide de mesures représentant un concept spécifique (par exemple la taille des noyaux) pouvant être directement mesuré sur les images ou annoté par des experts. Cette approche démontre que les variations d'apparence, et précisément de texture, sont prépondérantes dans la décision des CNN. J'ai alors directement analysé le problème de la généralisation. À l'aide de la méthode RCV, j'ai conçu un système de pruning qui supprime l'apprentissage indésirable de certaines caractéristiques, telles que l'invariance d'échelle d'un objet, ce qui est important dans l'analyse d'images médicales. J'ai guidé l'apprentissage des CNN pour incorporer des informations sur les variations morphologiques des noyaux et obtenir l'invariance vers l'origine des données. Le modèle résultant augmente ses capacités de généralisation vers des données inconnues.La ricerca sul deep learning applicato ad immagini mediche ha portato verso risultati quasi perfetti in molteplici contesti come, ad esempio, l'analisi microscopica di tessuti patologici. Le reti di apprendimento a base convoluzionale, le cosiddette Convolutional Neural Networks (CNNs), costituiscono un modello estremamente performante, che può essere applicato per identificare con accuratezza eccezionale le piú piccole cellule tumorali in biopsie di organi. Se introdotte nelle routine cliniche, le CNNs avrebbero un potenziale enorme nel supportare il personale medico. Ciononostante, le capacità delle CNNs sono impeccabili soltanto sui dati sperimentali di test e falliscono nell'ambiente reale del flusso di lavoro clinico. Questi modelli non si dimostrano sufficientemente in grado di estendere, e quindi generalizzare, le loro performance su dati provenienti da nuove fonti, rendendo impossibile la loro applicazione nelle routine di laboratorio. Sussiste il bisogno di generare nuovi approcci che permettano di verificare se un modello abbia appreso effettivamente i pattern corretti nei dati per donare una risposta affidabile. Capire le limitazioni delle CNNs è un compito estremamente importante per assicurare al personale medico che le risposte del processo automatico sono in linea con gli standard della pratica clinica. Lo scopo di questo lavoro di tesi è di adempiere a tal compito attraverso lo studio e l'ideazione di nuove tecnologie di interpretability, che possano chiarire e spiegare il meccanismo appreso dai modelli di deep learning al personale medico. Restringendo l'ambito applicativo alle immagini microscopiche di cancro al seno, il mio lavoro di tesi inizia dal dimostrare che la conoscenza pregressa è una fonte d'informazioni importante per spiegare le features apprese dal modello. Introducendo informazioni sulle posizioni dei nuclei nelle immagini, ho sviluppato un metodo per generare delle spiegazioni visive, le quali illustrano che la risposta del modello si basa sui pixel all'interno dei nuclei. Ho poi sviluppato un approccio chiamato Regression Concept Vectors (RCV) per spiegare il modello utilizzando delle misure rappresentanti un concetto di tipo arbitrario (ad esempio la dimensione dei nuclei) che possano essere direttamente misurati sulle immagini o annotate da esperti. Questo approccio dimostra che variazioni nell'aspetto, e precisamente nella texture, sono di rilievo nella decisione delle CNNs. Ho poi analizzato direttamente il problema della generalizzazione. Utilizzando il metodo RCV, ho ideato un sistema di pruning che rimuove l'apprendimento indesiderato di alcune caratteristiche, ad esempio l'invarianza alla scala di un oggetto, che e' importante nell'analisi d'immagini mediche. Ho guidato l'apprendimento delle CNNs per inglobare informazioni sulle variazioni di tipo morfologico dei nuclei e per ottenere invarianza verso la provenienza dei dati. Il modello risultante aumenta le sue capacità di generalizzazione verso dati non noti