Deteção e segmentação de sangramentos em imagens gastrointestinais de cápsulas endoscópicas

Tese de Doutoramento em InformáticaA cápsula endoscópica é atualmente o principal método para o diagnóstico do intestino delgado, uma área de difícil acesso devido a dificuldades anatómicas, pela endoscopia tradicional alta e pela colonoscopia. É um método fundamental para a deteção de lesões ou outras anomalias no sistema digestivo, para o acompanhamento prévio e/ou posterior a intervenções cirúrgicas. Resultante de cada diagnóstico, são recolhidas entre 8 a 10 horas de vídeo, que necessitam de posterior visualização por parte do médico. São disponíveis pelas companhias que comercializam cápsulas endoscópicas, sistemas de visualização e apoio à decisão, tendo estes como exemplo, ferramentas de melhoria de contraste da imagem, detetores automáticos de lesões vermelhas, entre outras. Para a deteção de sangramentos existe uma ferramenta no software comercial de visualização Rapid Reader (RR) da empresa Given (atualmente Medtronic) denominada de Suspected Blood Indicator (SBI). Esta explora a presença de determinados valores na componente vermelha da cor, o que permite uma busca rápida na procura de hemorragias. No entanto, esta ferramenta permanece limitada em termos de eficiência, apresentando valores variáveis entre 20% a 56% para a métrica sensibilidade [1]–[3]. Por outro lado, estas estas cápsulas não fornecem por si, a sua localização no interior do paciente. Atualmente os médicos especialistas estimam a localização da cápsula baseandose em referências anatómicas, como o duodeno ou a válvula ileocecal, e na perceção do deslocamento aparente entre imagens do vídeo. Devido à duração do vídeo e à escassez de referências anatómicas ao longo do intestino delgado, é difícil obter uma estimativa precisa da posição da cápsula sem informações adicionais. Os métodos de rastreamento mais usados são baseados em matrizes de sensores com transmissão por radiofrequência (RF), com valores de erro reportados de 3.7 a 11.4 cm [4], [5]. Estas soluções apresentam algumas desvantagens como o desconforto no paciente, o aumento de custos, os problemas de biocompatibilidade ou a interferência com o sensor da câmara da cápsula [6]. Existem algumas soluções baseadas somente de software que mostram precisões de localização semelhantes às que usam equipamentos externos, no entanto com a aplicação de aprendizagem profunda (AP) houve uma melhoria nos desempenhos [7]–[9]. Centrado nestas problemáticas, nesta tese são apresentadas algumas soluções. Em concreto para as lesões vermelhas, são apresentados dois métodos: O primeiro é baseado na mudança da perspetiva de visualização das lesões vermelhas, aplicando a mudança do espaço de cor alicerçado na rotação das cores. A ideia é promover a melhor visualização das características das lesões vermelhas, sob uma perspetiva diferente de visualização em relação espaço de cor RGB, que apresenta correlação entre as cores e que é o espaço de cor nativo dos vídeos endoscópicos. Este método foi testado para vários classificadores de aprendizagem profunda reportados na bibliografia, havendo a verificação dos desempenhos. O segundo método de deteção e segmentação de lesões vermelhas aplica uma abordagem de AP, onde são aplicadas a uma rede neural (RN) um conjunto de imagens anotadas para que esta “aprenda” as características das lesões vermelhas. Obteve-se um modelo que pode inferir, em conjuntos de imagens que não foram usados para treinar a RN, se estas possuem ou não lesões, inferindo também em caso positivo, os seus limites. Em relação à odometria visual para o problema de localização de cápsula endoscópica, foi proposta uma solução onde o deslocamento por imagem (em percentagem) é calculado para todo o intestino delgado. Para isso, primeiro são selecionadas as imagens informativas do conjunto de imagens, seguindo-se a aproximação da homografia entre pares de imagens consecutivas, com uma abordagem de AP para finalmente serem estimados os deslocamentos em percentagem. Esta tese contribui para a evolução de modelos em visão por computador, que auxiliem nas tarefas quotidianas dos médicos, nomeadamente na deteção e segmentação de lesões vermelhas e também na localização da cápsula no interior do trato gastrointestinal (TG). Estas soluções apresentam melhorias no desempenho das ferramentas que são usadas diariamente nos serviços médicos, de modo a melhorar o desempenho dos profissionais que poderão apoiar-se com confiança nos sistemas de apoio à decisão.The endoscopic capsule is currently the main method for the diagnosis of the small intestine, an area of difficult access due to anatomical difficulties, through high endoscopy and colonoscopy. It is a fundamental method for lesion detection or other abnormalities in the digestive system, for the previous and/or subsequent follow-up of surgical interventions. As a result of each diagnosis, 8 to 10 hours of video data are collected, requiring further visualization by the physician. The companies that commercialize endoscopic capsules also make available visualization and decision support systems, such as image contrast enhancement tools, automatic red lesion detectors, among others. For the bleeding detection, there is a tool in the commercial Rapid Reader (RR) visualization software from Given (currently Medtronic) named Suspected Blood Indicator (SBI). It explores the presence of certain values in the red component of color, which allows a quick search for hemorrhages. However, this tool remains limited in terms of efficiency, presenting values between 20% and 56% for the Sensitivity metric [1]–[3]. On the other hand, these capsules do not provide by themselves their location within the patient. Currently, doctors estimate the location of the capsule based on anatomical references, such as the duodenum or ileocecal valve, and on the perception of the apparent displacement through video images. Due to the length of the video and the scarcity of anatomical references along the small intestine, it is difficult to obtain an accurate estimate of the position of the capsule without additional information. The most commonly used tracking methods are based on radiofrequency sensor arrays, with error values reported from 3.7 to 11.4 cm [4], [5]. These solutions present some disadvantages such as patient discomfort, increased costs, biocompatibility problems or interference with the sensor of the capsule chamber [6]. There are some software-only solutions that present location accuracies similar to those that use external equipment, however, with the application of deep learning, there was an improvement in performances [7]–[9]. Focusing on these issues, some solutions are presented in this thesis. Specifically, for red lesions, two methods are presented: The first one is based on the change of visualization perspective of red lesions, applying a color space, based on the rotation of colors, transformation. The idea is to promote the best visualization of the red lesions characteristics, under a different perspective of visualization in relation to RGB color space, which presents a correlation between the colors and which is the native color space of the endoscopic videos. This method was tested for several deep learning classifiers reported in the bibliography, with performance verification. The second method of detecting and segmenting red lesions applies a deep learning approach, where a set of annotated images are applied to a neural network so that it "learns" red lesions characteristics. It was obtained a model that can infer, in sets of images not used to train the neural network, whether they have lesions, also inferring, in a positive case, their boundaries. Regarding visual odometry for the endoscopic capsule localization problem, a solution was proposed where the image displacement (in percentage) is calculated for the whole small intestine. To achieve this, firstly were selected the informative frames from a set of images, followed by the homography approximation between consecutive pairs of frames applying a learning approach, to finally estimate the displacements in percentage. This thesis contributes to the evolution of models in computer vision, which aid in the physician’s daily tasks, namely in the detection and segmentation of red lesions, and the location of the capsule inside the gastrointestinal tract. These solutions present improvements in the performance of the tools that are used daily in medical services, to improve the professional’s performance, who will be able to rely confidently on decision support systems