[[alternative]]The research and implementation of a 2D to 3D endoscopy image system with the techniques of content-adaptive filtering and hierarchical similarity analysis

碩士[[abstract]]在近年之醫療產業及醫療設備的發展中，內視鏡 (Endoscope) 一直是醫療人員及研究人員亟需的工具，但目前內視鏡通常是單一鏡頭，使得醫生對於視覺深度難以抓取，只能憑藉經驗判斷，存在著會傷害其他組織之不必要的風險。因此本論文乃提出以單一鏡頭的內視鏡來達到立體內視鏡的視覺效果。考量到系統對整張影像做深度估測的運算量較大，無法達到即時的效果，在文中提出以階層式相似度分析來將影像拆成16×16、8×8及4×4進行相似度分析及深度估測，而估測完的深度影像時常會因為深度影像急遽變化而產生3D影像破洞及幾何失真，考量到實際上深度影像急遽變化的大小及方向不一，所產生的破洞大小和方向也就有所不同。因此，本文提出以自適應性遮罩技術以強化三維深度影像繪圖，依據不同的破洞大小及紋理方向使用對應到的高斯濾波器進行深度影像的前處理，接著透過DIBR (Depth Image Base Rendering)演算法將2D影像轉換至3D影像呈現在3D顯示器上，並透過OpenGL建立3D影像模型，最後將系統實現於GPU (Graphics Processing Unit)上達到即時的處理。[[abstract]]With the advance of endoscopic technique, the researches of endoscopy are urgently needed for medical devices. However, the endoscopy is usually implemented in monocular image, making it difficult for doctors to judge the visual depth. It therefore may cause unnecessary damages to other tissues. This research work proposes a method using monocular endoscopic video to convert the 2D endoscopy into 3D view. Considering the depth estimation of the entire image, it needs a huge amount of computations, which cannot be attained throughout real time process. We propose the hierarchical similarity analysis to split the images into 16×16, 8×8, and 4×4 to analyze the similarity and depth estimation. However, the depth image may change drastically to make the converting view to have holes with different sizes and directions. It will affect the qualities of the 3D appearance and may take more time for hole-filling. This research hence presents a content-adaptive filtering technique to modify the depth map. A pre-process that applies the respective filter to different sizes and directions of holes is used to optimize the depth map. After the estimation of the depth map, the 2D image can be converted to a 3D image on the 3D display by DIBR (Depth Image Based Rendering) and create 3D modules through OpenGL (Open Graphics Library). Furthermore we implement the proposed approach on GPU (Graphics Processing Unit) to achieve the real time processing.[[tableofcontents]]致謝 I 中文摘要 III 英文摘要 IV 目錄 VI 圖目錄 IX 表目錄 XIII 第一章緒論 1 1.1研究背景與動機 1 1.2論文架構 3 第二章 CUDA架構 4 2.1 概論及其硬體架構 4 2.2 CUDA程式模組 6 2.3 CUDA記憶體模組 8 第三章相關技術 10 3.1內視鏡相關介紹 10 3.2立體視覺相關介紹 13 3.2.1眼鏡式3D顯示技術 14 3.2.1.1紅藍眼鏡 14 3.2.1.2偏光式眼鏡 15 3.2.1.3頭戴式顯示器 16 3.2.2裸眼立體顯示技術 16 3.2.2.1體積式立體顯示技術 17 3.2.2.2多平面式立體顯示技術 17 3.2.2.3 2D多工式立體顯示技術 18 3.3 Depth Image Based Rendering(DIBR)概要 18 3.4 3D內視鏡相關研究 22 3.4.1 3D 雙鏡頭內視鏡 22 3.4.2 3D單鏡頭內視鏡: 22 第四章研究方法 25 4.1反光偵測 26 4.2色相轉換 29 4.3反光點補償 30 4.4階層式相似度分析 31 4.5光線強度分析 32 4.6紋理強度分析 33 4.7線性透視 34 4.8深度合成 35 4.9深度影像前處理 35 4.10 DIBR演算法 39 4.10.1計算出每點像素視差值 39 4.10.2影像形變轉換 39 4.10.3破洞填補 40 第五章實驗結果 41 5.1系統運算時間的比較 41 5.2系統深度影像品質的比較 42 5.3深度影像前處理之比較 48 5.4內視鏡3D模型 60 第六章結論 65 參考文獻 66 圖目錄 圖 1.1微創手術示意圖 2 圖 1.2全球微創手術之市場規模與成長率 [3] 2 圖 1.3全球內視鏡之市場規模與成長率 [3] 3 圖 2.1 GPU加速運算示意圖[4] 4 圖 2.2 CPU與GPU的硬體架構圖 5 圖 2.3 CPU與GPU的核心差異圖 5 圖 2.4近年GPU和CPU的浮點數計算演進[5] 6 圖 2.5 CUDA的架構圖 7 圖 2.6 CUDA的Host和Device架構圖 8 圖 2.7 CUDA的記憶體架構圖[6] 9 圖 3.1內視鏡之示意圖[7] 10 圖 3.2染色內視鏡示意圖[8] 11 圖 3.3窄頻內視鏡示意圖[10] 12 圖 3.4膠囊內視鏡之示意圖[12] 12 圖 3.5膠囊內視鏡系統示意圖[12] 13 圖 3.6膠囊內視鏡與影像接收器[12] 13 圖 3.7兩眼視差示意圖 14 圖 3.8紅藍眼鏡示意圖[13] 15 圖 3.9篇光原理示意圖[13] 15 圖 3.10頭戴式顯示器示意圖[13] 16 圖 3.11體積式立體顯示示意圖[13] 17 圖 3.12多平面式立體顯示示意圖 18 圖 3.13原始影像與相對應的深度圖 19 圖 3.14 Disocclusion & Occlusion 示意圖 20 圖 3.15 Disocclusion示意圖 21 圖 3.16雙鏡頭內視鏡之示意圖[23] 22 圖 3.17原使影像與反光強度示意圖[24] 23 圖 3.18文獻 [25] 之系統流程圖 24 圖 4.1本論文所提出的系統流程圖 26 圖 4.2內視鏡內部的光源示意圖 27 圖 4.3內視鏡影像的反光點示意圖 27 圖 4.4(a)內視鏡影像紅光之直條圖統計(b)內視鏡影像綠光之直條圖統計(c)內視鏡影像藍光之直條圖統計 28 圖 4.5內視鏡原始影像與偵測出反光點之結果圖 29 圖 4.6內視鏡原始影像與灰階影 29 圖 4.7反光補償流程圖 30 圖 4.8反光點修補示意圖 31 圖 4.9原始灰階影像與反光點修補結果圖 31 圖 4.10階層式相似度分析示意圖 32 圖 4.11 (a)內視鏡原始影像(b)黑色區域偵測結果 34 圖 4.12 (a)內視鏡原始影像(b)深度梯度結果 35 圖 4.13 Law''s Mask 34 圖 4.14自適應遮罩技術流程圖 36 圖 5.1系統運算時間 42 圖 5.2 深度攝影機所獲得的資訊 43 圖 5.3深度影像品質的比較 44 圖 5.4 Video Sequence1第557張影像之實驗結果 (a)原始影像(b)文獻[25]估測結果(c)本文實驗結果 44 圖 5.5 Video Sequence1第740張影像之實驗結果(a)原始影像(b)文獻[25]估測結果(c)本文實驗結果 45 圖 5.6 Video Sequence2第844張影像之實驗結果(a)原始影像(b)文獻[25]估測結果(c)本文實驗結果 45 圖 5.7 Video Sequence2第1299張影像之實驗結果(a)原始影像(b)文獻[25]估測結果(c)本文實驗結果 46 圖 5.8 Video Sequence3第571張影像之實驗結果(a)原始影像(b)文獻[25]估測結果(c)本文實驗結果 46 圖 5.9 Video Sequence3第1116張影像之實驗結果(a)原始影像(b)文獻[25]估測結果(c)本文實驗結果 47 圖 5.10 Video Sequence4第324張影像之實驗結果(a)原始影像(b)文獻[25]估測結果(c)本文實驗結果 47 圖 5.11 Video Sequence4第1166張影像之實驗結果(a)原始影像(b)文獻[25]估測結果(c)本文實驗結果 48 圖 5.12深度影像前處理之PSNR比較 50 圖 5.13深度影像前處理之運算時間比較 50 圖 5.14深度影像前處理之SSIM比較 51 圖 5.15深度影像前處理之破洞數量比較 51 圖 5.16 Video Sequence1第557張影像之實驗結果 (a)原始影像(b)文獻[19]結果(c) 文獻[20]結果(d)文獻[21]結果(e)本論文實驗結果 52 圖 5.17 Video Sequence1第740張影像之實驗結果 (a)原始影像(b)文獻[19]結果(c) 文獻[20]結果(d)文獻[21]結果(e)本論文實驗結果 53 圖 5.18 Video Sequence2第844張影像之實驗結果 (a)原始影像(b)文獻[19]結果(c) 文獻[20]結果(d)文獻[21]結果(e)本論文實驗結果 54 圖 5.19 Video Sequence2第1299張影像之實驗結果 (a)原始影像(b)文獻[19]結果(c) 文獻[20]結果(d)文獻[21]結果(e)本論文實驗結果 55 圖 5.20 Video Sequence3第571張影像之實驗結果 (a)原始影像(b)文獻[19]結果(c) 文獻[20]結果(d)文獻[21]結果(e)本論文實驗結果 56 圖 5.21 Video Sequence3第1116張影像之實驗結果 (a)原始影像(b)文獻[19]結果(c) 文獻[20]結果(d)文獻[21]結果(e)本論文實驗結果 57 圖 5.22 Video Sequence4第324張影像之實驗結果 (a)原始影像(b)文獻[19]結果(c) 文獻[20]結果(d)文獻[21]結果(e)本論文實驗結果 58 圖 5.23 Video Sequence4第1166張影像之實驗結果 (a)原始影像(b)文獻[19]結果(c) 文獻[20]結果(d)文獻[21]結果(e)本論文實驗結果 59 圖 5.24 (a)原始2D影像，(b)、(c)轉換後的3D模型 61 圖 5.25(a)原始2D影像，(b)、(c)轉換後的3D模型 63 圖 5.26 (a)原始2D影像，(b)、(c)轉換後的3D模型 64 表目錄 表 5.1系統的運算時間(ms) 42 表 5.2深度影像品質的比較 44 表 5.3深度影像PSNR比較(db) 48 表 5.4深度影像前處理運算時間(ms) 49 表 5.5深度影像SSIM比較 49 表 5.6深度影像破洞數量比較 49[[note]]學號: 601450082, 學年度: 10