[[alternative]]Computer vision based navigation with 3D scene reconstruction

碩士[[abstract]]本論文主要探討利用三維全景建構的方式，來進行無人機的電腦視覺導航。傳統上無人機大多使用GPS 與中途點的方式來進行導航，但GPS 訊號在室內容易因為被建築物擋住而接收不到。所以在本研究中，利用建構無人機四周的三維空間資訊，找出空間中“最深”的點，並假設該點應該是走道或是任何開口，因而可以用來探索整棟建築物裡面的空間。研究時，我們比較不同的三維全景建構演算法，並尋找出空間中最深處的點，不斷透過影像處理的基礎方法提升準度及效率。在三維全景建構模擬與室內通道行走的實驗來展示本研究的可行性。本論文的成果將來可擴充無人機在室內的應用性。[[abstract]]This thesis investigates the computer-vision based navigation of an unmanned aerial vehicle (UAV) using 3D scene reconstruction. Conventionally, UAVs are usually navigated with GPS signal and waypoints. This method does not work indoors, since most of GPS signal is usually blocked by buildings. In this research, we intend to navigate the UAV by constructing the 3D information of the environment centered at the vehicle, and find the ”deepest point” in the scene, which is presumed to be the hallway or an opening, and can be utilized to explore the build. Different algorithms of 3D scene reconstruction are compared in this thesis, and an algorithm to obtain the deepest point in space is developed. Numerical simulations and experiments are demonstrated to verify the feasibility of our algorithm. Results in this these is potentially extendable to the indoor applications of UAVs.[[tableofcontents]]目錄 中文摘要i 英文摘要ii 致谢iii 1 緒論1 1.1 研究動機. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 1 1.2 研究目標. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 1 1.3 三維空間資訊重建原理簡述. . . . . . . . . . . . . . . . . . . . 2 1.4 文獻回顧. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 4 1.5 研究方法. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 6 2 全景影像深度演算法7 2.1 雙鏡頭立體影像演算法原理. . . . . . . . . . . . . . . . . . . . 7 2.2 雙鏡頭立體影像演算法之比較. . . . . . . . . . . . . . . . . . . 8 2.3 影像處理步驟流程. . . . . . . . . . . . . . . . . . . . . . . . . 8 2.4 色彩空間轉換. . . . . . . . . . . . . . . . . . . . . . . . . . . . 10 2.4.1 灰階化. . . . . . . . . . . . . . . . . . . . . . . . . . . . 10 2.4.2 HSI . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 11 2.5 SSD 演算方程式. . . . . . . . . . . . . . . . . . . . . . . . . . 12 iv 2.6 影像中值濾波. . . . . . . . . . . . . . . . . . . . . . . . . . . . 14 2.7 膨脹和侵蝕. . . . . . . . . . . . . . . . . . . . . . . . . . . . . 15 2.8 光流法原理. . . . . . . . . . . . . . . . . . . . . . . . . . . . . 20 3 特徵點及影像深度演算方法21 3.1 特徵點原理. . . . . . . . . . . . . . . . . . . . . . . . . . . . . 21 3.2 影像處理步驟流程. . . . . . . . . . . . . . . . . . . . . . . . . 22 3.3 特徵點擷取方法. . . . . . . . . . . . . . . . . . . . . . . . . . . 23 3.3.1 Harris 角點檢測方法. . . . . . . . . . . . . . . . . . . . 23 3.4 特徵點匹配. . . . . . . . . . . . . . . . . . . . . . . . . . . . . 23 3.5 偏移估測. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 25 3.6 深度距離計算. . . . . . . . . . . . . . . . . . . . . . . . . . . . 25 3.7 本研究的鏡頭幾何關係圖. . . . . . . . . . . . . . . . . . . . . 29 4 數位影像深度處理33 4.1 方格校正. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 33 4.2 影像縮小. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 34 4.3 影像深度中心點判斷. . . . . . . . . . . . . . . . . . . . . . . . 34 4.3.1 影像中心演算法一. . . . . . . . . . . . . . . . . . . . . 35 4.3.2 影像中心演算法二. . . . . . . . . . . . . . . . . . . . . 37 4.4 影像深度中心點位置計算. . . . . . . . . . . . . . . . . . . . . 39 4.5 影像坐標系轉換. . . . . . . . . . . . . . . . . . . . . . . . . . . 39 4.6 影像深度中心點校正. . . . . . . . . . . . . . . . . . . . . . . . 41 4.7 給飛機資料. . . . . . . . . . . . . . . . . . . . . . . . . . . . . 42 4.8 影像深度中心深度計算. . . . . . . . . . . . . . . . . . . . . . . 43 5 實驗軟體及硬體設備介紹45 v 5.1 MATLAB 平台使用. . . . . . . . . . . . . . . . . . . . . . . . 45 5.2 硬體介紹. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 45 5.2.1 攝影鏡頭. . . . . . . . . . . . . . . . . . . . . . . . . . 46 5.2.2 架設平台之幾何關係. . . . . . . . . . . . . . . . . . . . 46 5.2.3 筆記型電腦. . . . . . . . . . . . . . . . . . . . . . . . . 47 5.2.4 實驗器具架設圖. . . . . . . . . . . . . . . . . . . . . . 48 6 實驗結果與討論50 6.1 單鏡頭測試. . . . . . . . . . . . . . . . . . . . . . . . . . . . . 50 6.2 雙鏡頭測試. . . . . . . . . . . . . . . . . . . . . . . . . . . . . 52 6.2.1 全景深度測試. . . . . . . . . . . . . . . . . . . . . . . . 52 6.2.2 特徵點深度測試. . . . . . . . . . . . . . . . . . . . . . 53 6.2.3 特徵點深度數據分析. . . . . . . . . . . . . . . . . . . . 54 6.2.4 特徵點校正法. . . . . . . . . . . . . . . . . . . . . . . . 56 6.2.5 方格校正深度測試. . . . . . . . . . . . . . . . . . . . . 58 6.2.6 HSI 及灰階化深度測試. . . . . . . . . . . . . . . . . . . 59 6.2.7 全景深度測試分析. . . . . . . . . . . . . . . . . . . . . 60 6.2.8 全景深度尋找幾何中心測試. . . . . . . . . . . . . . . . 60 6.2.9 全景深度尋找中心測試. . . . . . . . . . . . . . . . . . 62 6.2.10 影像縮小測試. . . . . . . . . . . . . . . . . . . . . . . . 62 6.2.11 影像幾何中心校正. . . . . . . . . . . . . . . . . . . . . 63 6.2.12 去除白色雜訊測試. . . . . . . . . . . . . . . . . . . . . 64 6.2.13 樓梯旋轉測試. . . . . . . . . . . . . . . . . . . . . . . . 65 6.2.14 走廊旋轉測試. . . . . . . . . . . . . . . . . . . . . . . . 66 6.3 GUI 介面. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 69 6.3.1 GUI 介面簡介. . . . . . . . . . . . . . . . . . . . . . . 69 vi 6.3.2 GUI 介面操作流程. . . . . . . . . . . . . . . . . . . . . 70 6.4 kinect 與雙鏡頭立體視覺的比較. . . . . . . . . . . . . . . . . . 70 7 結論73 7.1 結論. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 73 7.2 未來發展. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 74 參考文獻 76 圖目錄 1.1 影像深度圖[6] . . . . . . . . . . . . . . . . . . . . . . . . . . . 3 1.2 影像偏移相減圖. . . . . . . . . . . . . . . . . . . . . . . . . . . 4 1.3 影像深度分層色塊圖[1] . . . . . . . . . . . . . . . . . . . . . . 6 2.1 深度匹配示意圖[4] . . . . . . . . . . . . . . . . . . . . . . . . . 7 2.2 雙鏡頭立體影像處理步驟流程圖. . . . . . . . . . . . . . . . . 9 2.3 參考影像(R) 目標影像(T)[4] . . . . . . . . . . . . . . . . . . . 10 2.4 HSI 色彩空間模型[21] . . . . . . . . . . . . . . . . . . . . . . . 12 2.5 中值濾波概念示意圖. . . . . . . . . . . . . . . . . . . . . . . . 15 2.6 灰階化後影像深度圖. . . . . . . . . . . . . . . . . . . . . . . . 16 2.7 色調轉換後影像深度圖. . . . . . . . . . . . . . . . . . . . . . . 16 2.8 匹配原圖SSD 與SAD 比較. . . . . . . . . . . . . . . . . . . . 17 2.9 SSD 與SAD 中值濾波後的比較. . . . . . . . . . . . . . . . . . 17 2.10 SSD 與SAD 中值濾波膨脹侵蝕後的比較. . . . . . . . . . . . 17 2.11 真實深度圖與SSD 演算及濾波完比較. . . . . . . . . . . . . . 18 2.12 深度配色圖. . . . . . . . . . . . . . . . . . . . . . . . . . . . . 20 3.1 特徵點校正流程. . . . . . . . . . . . . . . . . . . . . . . . . . . 22 3.2 harris 角點檢測原理[22] . . . . . . . . . . . . . . . . . . . . . . 23 3.3 特徵點匹配索引[5] . . . . . . . . . . . . . . . . . . . . . . . . . 24 viii 3.4 實際特徵點匹配圖[5] . . . . . . . . . . . . . . . . . . . . . . . 24 3.5 影像深度偏移匹配. . . . . . . . . . . . . . . . . . . . . . . . . 25 3.6 單一目標與觀測平台中心的幾何示意圖. . . . . . . . . . . . . . 26 3.7 P1P2 距離幾何中心的關係. . . . . . . . . . . . . . . . . . . . . 26 3.8 X 方向最大視角及最大像素的關係. . . . . . . . . . . . . . . . 27 3.9 目標物P 與攝影鏡頭中心之幾何關係. . . . . . . . . . . . . . 29 3.10 Z 方向最大視角和最大像素的關係. . . . . . . . . . . . . . . . 29 3.11 架設平台與視角關係之示意圖. . . . . . . . . . . . . . . . . . . 30 3.12 雙鏡頭深度計算區域示意圖. . . . . . . . . . . . . . . . . . . . 31 4.1 方格校正關係位置圖. . . . . . . . . . . . . . . . . . . . . . . . 33 4.2 方格校正圖. . . . . . . . . . . . . . . . . . . . . . . . . . . . . 34 4.3 偏移匹配累加圖. . . . . . . . . . . . . . . . . . . . . . . . . . . 37 4.4 測試原圖. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 38 4.5 影像深度圖. . . . . . . . . . . . . . . . . . . . . . . . . . . . . 38 4.6 膨脹侵蝕濾波和二值化後如圖. . . . . . . . . . . . . . . . . . . 39 4.7 影像座標系. . . . . . . . . . . . . . . . . . . . . . . . . . . . . 40 4.8 卡式座標系. . . . . . . . . . . . . . . . . . . . . . . . . . . . . 40 4.9 影像方位判斷. . . . . . . . . . . . . . . . . . . . . . . . . . . . 43 5.1 雙鏡頭架設平台. . . . . . . . . . . . . . . . . . . . . . . . . . . 47 5.2 雙鏡頭架設平台. . . . . . . . . . . . . . . . . . . . . . . . . . . 47 5.3 實驗架設平台的位置關係圖. . . . . . . . . . . . . . . . . . . . 49 6.1 單鏡頭測試一: 走廊及目標物測試. . . . . . . . . . . . . . . . . 50 6.2 單鏡頭測試二: 大空間及亮度影響. . . . . . . . . . . . . . . . . 50 6.3 單鏡頭測試三: 目標物移動，鏡頭不動的實驗。. . . . . . . . . 51 ix 6.4 為實驗場地及實驗架設平台的位置關係圖. . . . . . . . . . . . 52 6.5 實驗過程的電腦影像. . . . . . . . . . . . . . . . . . . . . . . . 53 6.6 特徵點實驗一: 目標物測試. . . . . . . . . . . . . . . . . . . . . 53 6.7 特徵點實驗二: 走廊測試. . . . . . . . . . . . . . . . . . . . . . 54 6.8 特徵點深度分析. . . . . . . . . . . . . . . . . . . . . . . . . . . 55 6.9 特徵點深度數據分析. . . . . . . . . . . . . . . . . . . . . . . . 56 6.10 影像匹配上下偏移實驗圖. . . . . . . . . . . . . . . . . . . . . 57 6.11 特徵點校正全景深度測試. . . . . . . . . . . . . . . . . . . . . 57 6.12 開燈全景測試. . . . . . . . . . . . . . . . . . . . . . . . . . . . 58 6.13 關燈全景測試. . . . . . . . . . . . . . . . . . . . . . . . . . . . 58 6.14 方格校正深度測試. . . . . . . . . . . . . . . . . . . . . . . . . 59 6.15 色調轉換後與灰階化比較. . . . . . . . . . . . . . . . . . . . . 59 6.16 等深度線圖. . . . . . . . . . . . . . . . . . . . . . . . . . . . . 60 6.17 深度幾何中心演算法1 . . . . . . . . . . . . . . . . . . . . . . . 60 6.18 深度幾何中心演算法2 . . . . . . . . . . . . . . . . . . . . . . . 61 6.19 縮小後深度幾何中心演算法1 . . . . . . . . . . . . . . . . . . . 63 6.20 縮小後深度幾何中心演算法2 . . . . . . . . . . . . . . . . . . . 63 6.21 影像中心校正. . . . . . . . . . . . . . . . . . . . . . . . . . . . 64 6.22 白色螢幕深度測試. . . . . . . . . . . . . . . . . . . . . . . . . 65 6.23 濾波後白色螢幕深度測試. . . . . . . . . . . . . . . . . . . . . 65 6.24 樓梯深度圖. . . . . . . . . . . . . . . . . . . . . . . . . . . . . 66 6.25 樓梯旋轉圖. . . . . . . . . . . . . . . . . . . . . . . . . . . . . 66 6.26 走廊旋轉測試. . . . . . . . . . . . . . . . . . . . . . . . . . . . 67 6.27 走廊旋轉測試. . . . . . . . . . . . . . . . . . . . . . . . . . . . 67 6.28 走廊旋轉測試. . . . . . . . . . . . . . . . . . . . . . . . . . . . 67 6.29 走廊旋轉測試. . . . . . . . . . . . . . . . . . . . . . . . . . . . 68 x 6.30 走廊旋轉測試. . . . . . . . . . . . . . . . . . . . . . . . . . . . 68 6.31 走廊旋轉測試. . . . . . . . . . . . . . . . . . . . . . . . . . . . 68 6.32 走廊旋轉測試. . . . . . . . . . . . . . . . . . . . . . . . . . . . 68 6.33 走廊旋轉測試. . . . . . . . . . . . . . . . . . . . . . . . . . . . 69 6.34 GUI 介面. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 69 6.35 GUI 介面操作流程. . . . . . . . . . . . . . . . . . . . . . . . . 70 6.36 kinect 測試一. . . . . . . . . . . . . . . . . . . . . . . . . . . . 71 6.37 kinect 測試二. . . . . . . . . . . . . . . . . . . . . . . . . . . . 71 6.38 kinect 測試三. . . . . . . . . . . . . . . . . . . . . . . . . . . . 71 6.39 kinect 測試四. . . . . . . . . . . . . . . . . . . . . . . . . . . . 71 6.40 kinect 測試五. . . . . . . . . . . . . . . . . . . . . . . . . . . . 72 6.41 kinect 測試六. . . . . . . . . . . . . . . . . . . . . . . . . . . . 72 6.42 kinect 測試七. . . . . . . . . . . . . . . . . . . . . . . . . . . . 72 6.43 kinect 測試八. . . . . . . . . . . . . . . . . . . . . . . . . . . . 72 表目錄 5.1 攝影鏡頭規格. . . . . . . . . . . . . . . . . . . . . . . . . . . . 46 5.2 筆記型電腦規格. . . . . . . . . . . . . . . . . . . . . . . . . . . 47[[note]]學號: 604430057, 學年度: 10