AUTOMATED ANALYSIS OF PULMONARY TISSUE CHANGES IN AUTOFLUORESCENCE BRONCHOSCOPY IMAGES

Na področju obdelave slik se za razpoznavanje objektov v zadnjih letih vse pogosteje uporablja barvna informacija. Segmentacija oziroma razčlenjevanje ter klasifikacija oziroma razvrščanje sta ključna postopka obdelave slik, pomembna za pravilno določanje, analizo in interpretacijo slikovne vsebine. Informacijska vsebina medicinskih slik je ključnega pomena za odkrivanje in razumevanje normalnih in bolezenskih stanj človeškega organizma. Kakovost slikovno podprtih medicinski preiskav je v veliki meri odvisna od tehnike zajema slik, interpretacije vsebine slik ter od raziskovalnega oziroma medicinskega okolja, ki vzpodbuja zajemanje slik in njihovo uporabo. Rak na pljučih je ena izmed najpogostejših vrst raka pri človeku z najvišjo stopnjo smrtnosti zaradi prepoznega odkritja bolezni v stadiju, ko ni več operabilen zaradi lokalne in sistemske razširjenosti. V medicinski stroki še vedno ni dovolj dobre diagnostične metode, s katero bi lahko bolezen odkrili v zgodnejši, začetni fazi bolezni, ko je še možna ozdravitev. Razvoj avtofluorescenčne bronhoskopije je obetal najučinkovitejšo metodo za zgodnje odkrivanje raka na pljučih in prekanceroz. S postopki in napredkom digitalne obdelave slik v medicini je predvideno, da se bo možnost za napake zmanjšala in s tem celotna diagnoza izboljšala. Namen naše raziskave je povečanje diagnostične senzitivnosti in specifičnosti avtofluorescenčne bronhoskopije (AFB) s postopki digitalne obdelave slik ter s strojnim učenjem prepoznavanja med nemalignimi lezijami in med prekancerozami in rakom na sluznici spodnjih dihalnih poti na AFB slikah. V tej raziskavi smo vključili AFB slike bronhialne sluznice, pridobljene na AFB napavi LIFE (Xillix Technology, Vancouver, BC) v Univerzitetnem kliničnem centru (UKCL) na Kliničnem oddelku za pljučne bolezni in alergijo v Ljubljani. Slike smo grupirali v tri pomembne skupine, kot so normalna sluznica, sumljiva področja prekanceroze in pljučni rak, pri čemer je na vsaki sliki narejena biopsija in imamo histopatološki rezultat. V disertaciji predstavljamo razvoj sistema za samodejno ugotavljanje bolezenskih sprememb z AFB in metodologijo za izboljšanje AFB. Raziskali smo, kako uporabiti postopke detekcije in strojnega učenja za samodejno interpretacijo rezultatov na AFB slikah. Naš cilj je bila izbira kombinacije obeh postopkov, s katerimi smo zgradili celoten model interpretacije rezultatov na omenjenih slikah, ki naj bi izboljšal preiskavo v smeri zgodnejšega odkrivanja pljučnega raka. Model smo zgradili z omenjenima postopkoma na podlagi diagnostičnih podatkov (histopatološki podatki) in pripadajočih odločitev specialistov bronhoskopije. Natančnost določanja sumljivih področij na AFB slikah je bistvenega pomena za nadaljno analizo. V predstavljenem postopku smo poizkusili izboljšati iskanje področij s predhodnim filtriranjem AFB slike. Na ta način izkoristimo dobre lastnosti neizotropnega filtriranja in Cannyjevega postopka iskanja robov, kot sta neobčutljivost na lokalne slikovne elemente in relativno majhna računska zahtevnost. Poleg lokalnih majhnih področij, ki jih s postopkom lahko izločimo iz slik, imamo tudi možnost odkrivanja in odstranjevanja morebitnih napak. Sumljiva področja prekanceroze in malignoma na AFB slikah smo izbrali iz predhodno razčlenjenih slik z uporabo podatkov o normi razčlenjevanja (GT) (angl. Ground Truth) in našim predlaganim postopkom za določitev sumljivih področij. Primerjali smo dve metodi za določitev značilk. Prva metoda uporablja teksturne značilke na izbranem področju, ki izhajajo iz matrike vezanih verjetnosti sivin (GLCM). Druga metoda pa izhaja iz značilk na histogramu slike ter Gaussove porazdelitve slikovnih elementov. Za razvrščanje vzorcev med sumljivimi vzorci in vzorci malignoma smo izbrali optimalno množico značilk, ter uporabili tri razvrščevalnike in sicer naivni Bayes, k-NN razvrševalnik ter razvrščevalnik z metodo podpornih vektorjev (SVM). Pri slednjem smo dobili najboljše rezultate. Uspešnost binarnih razvrščevalnih postopkov smo merili z različnimi merami, kot so natančnost, senzitivnost, specifičnost in površina pod krivuljo (AUC). Obe metodi težita k temu, da bi izboljšali senzitivnost in specifičnost metode z zmanjšanjem lažno negativnih rezultatov kot lašno pozitivnih rezultatov in s tem zmanjšali veliko nepotrebnih biopsij bronhialne sluznice zaradi suma na maligno obolenje. Prva metoda je časovno in računsko bolj zahtevna od druge. Za primerjavo obeh metod in rezultatov smo uporabili Wilcoxonov test predznačenih rangov. Za preverjanje ničelne hipoteze, da se primerjani metodi v svoji natančnosti bistveno ne razlikujeta, smo izbrali stopnjo zaupanja (_ = 0.05) in poiskali pripadajočo vrednost p. Končni rezultat, katera je statistično bolj učinkovita, pa nam je dalo testiranje statističnih hipotez. V našem primeru smo dobili signifikantno vrednost pod vrednostjo zaupanja, kar je potrdilo, da je naša predlagana metoda učinkovitejša. Dobljeni rezultati iz predlaganega in razvitega sistema se izkažejo kot uporabni za samodejno določanje tipa bolezni na AFB slikah. Predlagana metoda bo izboljšala diagnostično natančnost, izboljšala specifičnost ter posledično zmanjšala število nepotrebnih biopsij pri diagnozi malignih področij. Predlagani računalniški sistem za odkrivanje malignih področij na AFB slikah bo lahko v veliko oporo preiskovalcem.Shapes, textures and colours contain information in image reading. Machine reading gets its’ functionality from transformation of textures to features, segmentation and classification. Result is interpretation of image content. Many medical diagnoses rely on information content from images of surfaces and volumes of human body. Quality of image supported diagnosis relies on of imaging technology, approach, machineimage interpretation relies on experts’ expertise and on machine that is supporting him. Advanced medical environments encourage machine supported decision making process. Lung cancer is frequent among cancers. It results in high mortality, especially when it appears as secondary cancer. Much effort is spent in techniques and procedures for early diagnose. Auto Fluorescent Bronchoscopy (AFB) is used for early detection in bronchial tubes. Progress in computer science, embedded systems, programming for real-time applications gave means to integrate machine support in the diagnostic process. Physician – expert makes decisions and stands behind her diagnose, and supporting tools add to quality of decision making process. Tools make experts’ work less frustrating. Medical doctors accept machine support of their work well. Image processing is used in manufacturing processes and in logistics for years. Objects are well defined in these branches of human activity. Image processing in medical diagnostics is more complex. Examined structures can vary in size, shape, colour and texture. Tolerated margin for error in feature detection is about nil. We increase AFB sensitivity and specifity with image processing, machine learning of differences among benign lesions, precanserosis and cancer of mucus membrane in lower bronchial tubes. Images were taken at the Department for lung disease and allergy at Univerzitetni kliniˇcni center in Ljubljana. LIFE R(Xillix Technology, Vancouver, BC) apparatus was used. Images were classified into 3 groups i.e. normal, suspicious for precancerosis and cancer. Each image is supported with biopsy and histopathological diagnose. Development of system for autonomous detection of pathological changes with AFB is presented. Procedure for improvement in tissue classification is developed. We researched implementation means and use of feature detection and machine learning for autonomous interpretation of AFB images. The goal was to select most reasonable components and to produce optimal system for machine detection of bronchial cancer in its most early stage. Images, histopathology data, medical diagnoses, consulting with physicians, feature detection algorithms and machine learning procedures define start of the project of machine diagnose from the AFB image. Suspicious areas in AFB image have to be precisely detected. To improve area definition we introduced filtering as image pre-processing. Canny edge detection method was applied. It is unsusceptible to small local areas and it is computationally efficient. Errors in area definition are noticed in real-time and corrective input is given. We detected suspicious precancerosis and malignant areas with data from Ground Truth (GT) norm and our new procedure. We compared 2 methods for feature extraction. 1st method extracts features from Grey Level Co-occurence Matrix (GLCM)2nd method extract features from image histogram and semi Normal distribution of number of pixels versus their colour intensity. To distinguish between suspicious only and malignant areas we first carefully selected small number of information rich features. Then we applied naive Bayes, k-NN and Support Vector Method (SVM) classifiers. SVM produced best results. Two thirds of samples were used for machine learning, one third for testing. Quality of binary classification was assessed by different measures – precision, sensitivity, specifity and Area Under Curve (AUC). Both methods are aimed at high sensitivity accompanied by high specifity. The goal is to minimize False Positive (FP) and False Negative (FN) results, which leads to smaller amount of biopsies. Second method is computationally more efficient and it takes less computer resources (memory). Wilcoxon signed-rank test was used to evaluate ranking efficiency of both methods. Null hypothesis is that both methods produce about same results. p value was calculated for selected confidence level (_ = 0.05). Testing of statistical hypothesis ranked efficiency of both methods. Significant value is below confidence level which confirms efficiency of the new method. Results are ready for implementation in embedded system for real-time machine supported AFB diagnostics, which improves accuracy and specifity. Consequently less biopsies is performed at preserved quality of diagnostic work