Developing new machine learning methods more robust to inter-subject and inter-scanner variability in structural MRI

Tese de mestrado integrado em Engenharia Biomédica e Biofísica, apresentada à Universidade de Lisboa, através da Faculdade de Ciências, 2015Neuroimagem é uma vasta área que inclui uma ampla gama de técnicas de mapeamento cerebral. A sofisticação dos métodos de neuroimagem nas últimas décadas possibilitou o avanço dos conhecimentos sobre alterações nas estruturas cerebrais, possibilitando o estudo de doenças neurodegenerativas como a doença de Alzheimer. Por exemplo, a técnica de Imagem de Ressonância Magnética (IRM) possibilita uma análise a nível estrutural e funcional, não invasiva, do cérebro. Não precisa de radiação ionizante, permitindo estudos longitudinais. Técnicas tradicionais de análise de scans de IRM consistem numa avaliação visual por parte de radiologistas experientes. Esta análise, para além de subjetiva, torna-se impraticável quando o número de sujeitos aumenta e as mudanças estruturais são mais subtis. Nos últimos anos, têm sido feitos avanços no desenvolvimento de técnicas automáticas para identificar diferenças na anatomia do cérebro entre grupos de sujeitos. Atualmente, a estratégia mais utilizada para a análise de dados de neuroimagem é a análise utilizando o método VBM (Voxel-based Morphometry) e consiste numa abordagem univariada em massa usando métodos de mapeamento estatístico paramétricos para investigar diferenças na anatomia do cérebro. Contudo, devido à complexidade do cérebro e suas estruturas, esta abordagem pode não ser suficiente para se obter uma análise realista. A análise univariada poderá apresentar uma fraca sensibilidade quando o efeito de interesse tem uma distribuição multidimensional na ativação. Surge assim a necessidade do uso de métodos multivariados. Machine learning consiste num método de aprendizagem automática para estudar padrões de atividade. O objetivo, numa aprendizagem supervisionada, é treinar o algoritmo com exemplos de treino e, depois de treinado, o algoritmo deve ser capaz de prever o resultado para novos exemplos. Estes métodos podem ser chamados regressão, se a variável for contínua ou classificação, se a variável for discreta. Vários estudos demonstraram que classificadores conseguiram ser suficientemente sensíveis para separar pacientes com uma doença cerebral de sujeitos cognitivamente normais. Um exemplo de algoritmos de machine learning são os algoritmos baseados em processos Gaussianos (Gaussian processes, GP) que permitem procedimentos não paramétricos Bayesianos para a classificação. Até à data, a maioria dos estudos baseados em algoritmos de machine learning em neuroimagem analisam imagens de um único scanner de IRM. Contudo, para podermos adotar modelos preditivos num cenário clínico, estes modelos precisam de ser robustos a variações de scanners, típicas de conjuntos de dados reais, que são normalmente adquiridos utilizando diferentes scanners e parâmetros de aquisição. A combinação de dados de diferentes scanners origina amostras maiores, o que leva a um resultado de classificação mais robusto. Contudo, esta variabilidade de scanner leva a diferenças sistemáticas entre imagens de diferentes scanners que pode introduzir variância que não está relacionada com a variável de interesse. A variabilidade entre scanners afeta os dois estados da classificação, a fase de treino e a fase de teste. Outros factores que não estão relacionados com a doença, como a idade o género e o volume intracranial total podem influenciar os resultados da classificação. O trabalho desenvolvido nesta tese foca-se no estudo de métodos para corrigir o efeito causado pela variabilidade entre scanners e pelas diferenças específicas entre sujeitos (idade, género, volume intracranial total) na análise de IRM estrutural em machine learning. O objetivo principal do projeto é alcançar melhores modelos preditivos mais robustos a variações de scanner. Para esse propósito três diferentes conjuntos de dados foram usados. Dois deles apenas continham sujeitos saudáveis com dois scans cada sujeito. Os dois scans foram adquiridos no mesmo scanner mas, no primeiro conjunto de dados com diferentes bobines e no segundo com diferentes parâmetros de scanner. Estes conjuntos de dados foram utilizados para ilustrar o efeito de variabilidade entre scanners, sem ter em conta diferenças entre sujeitos. Foram ainda selecionados dados da base de dados do projeto ADNI de forma a analisar o impacto da variabilidade entre scanners e sujeitos na classificação. O projeto ADNI é um estudo que envolve vários scanners e 413 sujeitos (145 saudáveis, 148 com comprometimento cognitivo leve (CCL) e 120 com Alzheimer) adquiridos em 6 scanners diferentes foram selecionados para a análise VBM. Apenas dados de 4 scanners (1.5 GE, 1.5 SIEMENS, 1.5 Philips e 3 SIEMENS) foram considerados para a análise com machine learning. Os grupos de diagnóstico foram distribuídos igualmente, com aproximadamente 30 scans por grupo de diagnóstico e scanner. Em primeiro lugar, foi feita uma análise de VBM para ilustrar a extensão da variabilidade entre scanners. Depois, foi feita uma análise de classificação utilizando o processo Gaussian para demonstrar a extensão e o impacto da variabilidade entre scanners e entre sujeitos numa análise multivariada. Dois métodos de correção foram estudados, o processo de regressão Gaussiano (PRG) e o método de regressão dos mínimos quadrados ordinários regularizado (MMQOR). Os resultados mostram que a análise de VBM confirma a presença de diferenças entre scanners para os primeiros dois conjuntos de dados, estando o efeito disperso por toda a matéria cinzenta. Para o conjunto de dados ADNI, o efeito da variabilidade entre scanners não estava disperso pela matéria cinzenta, mostrando fortes ativações localizadas. Contudo, o efeito causado pela doença de Alzheimer era especialmente mais disperso e não foram encontradas interações significativas entre o efeito da doença e o efeito causado pelos scanners. Para os primeiros dois conjuntos de dados, a classificação de scanners foi possível mostrando uma acurácia e área sob a curva altas. Para o conjunto de dados ADNI, a classificação entre scanners foi também possível com uma alto desempenho para todas as combinações de scanners excepto quando combinando os scanners 1.5 SIEMENS com 3 SIEMENES, onde a desempenho da classificação não foi significativa. Isto sugere que diferenças entre scanners de diferentes fabricantes são maiores do que entre scanners do mesmo fabricante. Com o objetivo de estudar o impacto da variabilidade entre scanners e entre sujeitos na classificação, quatro cenários clínicos formulados anteriormente no estudo de Ahmed Abdulkadir et al. foram estudados. O objectivo era investigar se, usando um estudo altamente controlado e normalizado como o da base de dados ADNI, os resultados encontrados no estudo de Abdulkadir eram replicados. Para cada cenário, os dois métodos de correção foram aplicados e testes de permutações e o teste de McNemar foram usados para inferir se a correção levava a melhorias significativas na classificação. O primeiro cenário consistiu em usar controlos e respetivos grupos de pacientes separadamente para cada um dos quatro cenários. Aqui, a classificação dos sujeitos com CCL adquiridos nos scanners 1.5 GE e 1.5 Philips foi pouco eficaz e não foi significativa. No segundo cenário, o modelo foi treinado com dados de um scanner e testado com dados de um segundo scanner. Os resultados mostram que um modelo treinado com dados de um scanner generaliza bem para dados adquiridos num scanner diferente. Quando se misturam grupos de diagnóstico com scanners durante o treino, p. ex., usando controlos de um scanner e CCL de outro scanner, a acurácia desceu significativamente em vários casos. Depois da correção com os métodos PRG e MMQOR, o desempenho aumentou em vários casos tornando-se comparável aos desempenhos obtidos nos outros cenários, excepto quando utilizando dados dos sujeitos CCL adquiridos nos scanners 1.5 GE e 1.5 Philips. Apesar das limitações devido ao desempenho da classificação dos sujeitos CCL destes dois scanners e diferenças no género quando comparando grupos de diagnóstico adquiridos no scanner 1.5 Philips com os outros scanners, os resultados deste trabalho estão de acordo com os resultados do estudo de Abdulkadir et al. Trabalho futuro consistirá em transpor estes resultados para outras doenças degenerativas e desordens psiquiátricas como o caso da esquizofrenia.Neuroimaging is a field that includes a wide range of brain-mapping techniques. Currently, massive univariate approach using Voxel-Based Morphometry (VBM) is a well-established method in neuroimaging data analysis. However, it may be insufficient to recognize multivariate relationships and obtain realistic analyses. This leads to the development of multivariate image analysis methods. Machine learning can be seen as an alternative to inferential multivariate analyses. Classifiers were proved to be sufficiently sensitive to separate patients with a brain disease from cognitively normal subjects. To date, most machine learning based studies of neuroimaging data comprise images from a single imaging site. If imaging-based predictive models are to be adopted in the clinical setting, these models need to be robust to multi-site variation, typical of real-world datasets, which are acquired using different scanners and acquisition parameters. Combining data from different scanners provides larger sample sizes, which leads to more robust classification results. However, this scanner-variability leads to systematic differences between images from different scanners introducing variance that is unrelated to disease. Between scanner bias affects both main stages of automated disease classification, the training phase and the testing phase. It is well known that other disease-unrelated factors such as age, sex and total intracranial volume would also influence the measured tissue properties. As such, this thesis focuses on studying methods for correcting scanner and subject variability in machine learning based analyses of structural MRI data. The main goal of this project is to achieve better predictive models that are more robust to multi-site variation in data. For this purpose, three different datasets were used. Two datasets comprising only healthy subjects scanned twice, with different scanner conditions, were used in order to illustrate the scanner variability effect. Data from the ADNI project database were used to analyze the impact of scanner and subject variability in automated classification. The ADNI project is a multisite study and 413 subjects (145 healthy, 148 MCI and 120 AD) from 6 scanners were selected for the VBM analysis, but only data from 4 scanners (1.5GE, 1.5SIEMENS, 1.5Philips and 3SIEMENS) were considered for the machine learning analyses. The diagnostic conditions were equally distributed, with approximately 30 scans per diagnostic group and scanner. First, a univariate VBM analysis was performed to illustrate the extent of scanner variability. In a multivariate way, a Gaussian process classification algorithm was used to study the extent and impact of scanner and subject variability. Then, two regression methods, Gaussian process regression (GPR) and Ridge ordinary least squares regression (ROLS) were applied to study their consistency to remove out the confound effect. Results show that VBM analysis largely confirmed the presence of interscanner differences at group level for the three datasets. However, for the ADNI dataset, the effect of disease was spatially wider spread than effects of scanner and no significant interactions between scanner and disease were found. For the two first datasets, classification of scanner was possible with very high accuracy and area under the curve performances. For the ADNI dataset, classification of scanner was possible for all the combinations of scanners except 1.5SIEMENS and 3SIEMENS, where the classification performance was not significant. This suggests that differences between data from scanners of different manufacturers are larger than between data from the same manufacturer. With the aim of studying the impact of scanner and subject variability in automated classification, the four clinical scenarios formulated by Ahmed Abdukladir et al. in his study, were studied. For each scenario, the two correction methods were applied and permutation and McNemar tests were used to infer if there were any significant improvements after correction. The first scenario consisted in using controls and respective patients groups separately for each four sites. Here, MCI classification accuracies show a poor classification result when using 1.5 GE and 1.5 Philips scanners. The results from the second scenario show that a model trained with data from a single scanner generalized well to data from a different scanner. When confounding diagnostics groups and scanner during training, e.g, by using controls from one scanner and MCI from another, accuracy dropped significantly in many cases. By regressing out confounds with GPR and ROLS, performance levels were comparable to those obtained in scenarios without confound, except when using MCI subjects from 1.5 GE and 1.5 Philips scanners. Despite the limitations due to the MCI classification performance of scanners 1.5 GE and 1.5 Philips and differences in gender when comparing diagnostic groups from 1.5 Philips to other scanners, results from this work are in agreement with Ahmed Abdulkadir et al. findings. Future work will focus in translating these findings to other neurodegenerative diseases and psychiatric disorders, such as schizophrenia