[[alternative]]Implementation of robot visual SLAM using low-end cameras

碩士[[abstract]]低階攝影機有標準化軟硬體介面與價格低的優點，在機器人系統上有普及應用的潛力。缺點是低階攝影機的影像擷取頻率通常低於30Hz，所擷取的影像會有模糊現象。另外，由於即時運算能力的限制，機器人應用視覺感測器通常只能處理低解析度的影像，影像模糊現象很難藉由提高解析度與影像處理方法加以改善。本論文針對所擷取的低解析度與模糊的場景影像，發展有效的影像特徵偵測、描述、與比對方法，建立一致性高的稀疏視覺式特徵地圖，以便應用於機器人同時定位與建圖。在影像特徵描述與比對方面，將規劃強健的特徵描述方法，應用在低解析度的模糊影像，以提高特徵成功比對率。另外，也探討灰階影像區塊特徵描述方法，應用在視覺式特徵地圖的可能性。針對影像特徵偵測與描述方法的效能比較，本研究也規劃特徵可重複性的測試與機器人定位的地面基準測試等實驗。其中特徵可重複性會直接影響視覺式地圖的特徵數量，進而影響狀態估測器的效能。實驗結果顯示本論文所規劃的強健特徵描述方法，在低階攝影機所引起的模糊影像中，能有效提高特徵可重複性與降低地圖的特徵數量。[[abstract]]Low-end camera has the advantages of standardized hardware and software interfaces with low prices as well as has the potential for a wide application in robotic system. However, the shortcoming is that the image acquisition rate of low-end camera is usually lower than 30Hz. Low image acquisition rate will cause the captured image to be blurred. Due to the limitations of real-time computation, the application of robot vision sensors usually only deals with low-resolution images. Therefore, the methods of enhancing the resolution and advanced image processing will not be considered in robot vision application to resolve the problem of image blurring. In this thesis, an effective image feature detection, description, and matching method will be developed for the low resolution and blurred scene image in order to establish high-persistency visual sparse map in robot simultaneous localization and mapping applications. In feature description and matching procedure, a robust feature description method is planned in this thesis and applied to deal with blurred image and improve the matching rate. Furthermore, the image description method using grayscale image patch will be investigated. The experiments of features repeatability and ground truth are carried out to validate the performance of image feature detection and description. The features repeatability will directly affect the number of feature of the visual map, and further influence the performance of state estimator. The experimental results show that the proposed feature description method can effectively improve the features repeatability in blurred images captured by low-end camera and further reduce the number of map features.[[tableofcontents]]目錄 中文摘要 Ⅰ 英文摘要 Ⅱ 目錄 Ⅲ 圖目錄 Ⅴ 表目錄 Ⅹ 第一章 序論 1 1.1 研究動機與研究目的 1 1.2 文獻探討 2 1.3 研究範圍 3 第二章 點特徵偵測描述與追蹤比對 4 2.1 影像特徵偵測 4 2.1.1 Harris角落偵測 4 2.1.2 尺度不變特徵偵測 5 2.1.3 特徵偵測範例 6 2.2 影像特徵描述與比對 7 2.2.1 灰階影像區塊描述與比對 7 2.2.2 SURF特徵描述與比對 8 第三章 視覺式地圖特徵 10 3.1 特徵主方向引起的問題 10 3.1.1 靜止攝影機偵測主方向跳動的特徵點 13 3.1.2 移動攝影機偵測主方向跳動的特徵點 14 3.2 強健主方向求算方法 14 3.3 強健特徵描述向量求算方法 18 3.4 固定特徵主方向 19 3.5 範例：模糊影像的特徵主方向之求算 19 3.6 範例：特徵主方向的旋轉不變特性比較 21 第四章 機器人視覺式同時定位與地圖 24 4.1 雙眼視覺式EKF SLAM 24 4.2 SURF類別 26 4.3 地圖管理策略 27 4.4 地圖特徵可重複性評估 28 4.5 機器人定位的地面基準評估 29 第五章 測試結果與分析 30 5.1 範例一：可重複性與橫向路徑地面基準測試 33 5.2 範例二：方形路徑地面基準測試 39 5.3 範例三：圓形路徑地面基準之ㄧ 43 5.4 範例四：圓形路徑地面基準之二 48 5.5 範例五：SURF的尺度不變特性應用於SLAM中 52 5.6 範例六：SLAM中角度不變 59 第六章 結論 68 6.1 完成的研究項目 68 6.2 未來研究方向 68 參考文獻 69 圖目錄 圖1.1(a)攝影機慢速移動時所擷取影像 2 圖1.1(b)攝影機正常移動時所擷取影像 2 圖1.1 實驗室場景所擷取的影像 2 圖2.1 所偵測的Harris角落特徵 7 圖2.2 設定不同行列式門檻值範圍時SURF所偵測的影像特徵 7 圖3.1 在實驗室場景中偵測4個特徵 11 圖3.2 特徵編號2 (左)與3 (右)的Haar小波反應值分佈 12 圖3.3 特徵編號2的Haar小波反應值與歐基里德距離 12 圖3.4 特徵編號3的Haar小波反應值與歐基里德距離 12 圖3.5 靜止攝影機所擷取特徵的主方向跳動現象 13 圖3.6 相對時刻特徵的Haar小波反應強度分佈圖 13 圖3.7 動態攝影機所擷取特徵的主方向跳動現象0th(左)與216th(右) 14 圖3.8 動態攝影機Haar小波反應強度分佈圖 14 圖3.9 特徵主方向的定義 16 圖3.10 特徵主方向跳動現象 17 圖3.11 動態攝影機抓取的特徵主方向跳動現象 17 圖3.12 相對應的歐基里德距離比對圖 18 圖3.13(a) 特徵點樣板 19 圖3.13(b)偵測到特徵點 19 圖3.13(c) 特徵點偏移時的比對情形 19 圖3.13(d) 尺度不變特性 19 圖3.13 影像區塊描述方法 19 圖3.14(a)清晰影像 20 圖3.14(b)模糊影像 20 圖3.14 模糊狀況下特徵點主方向跳動情形 20 圖3.15(a)清晰影像狀態 20 圖3.15(b)模糊影像狀態 20 圖3.15 模糊狀況下第27個特徵點Haar小波反應強度分佈圖 20 圖3.16 第27個特徵點Haar小波反應值與歐基里德距離關係圖 21 圖3.17 模糊影像上使用SURF WM方法主方向跳動情況 21 圖3.18 特徵主方向的旋轉不變特性測試場景圖 22 圖3.19 特徵點的Haar小波反應圖 22 圖3.20 原始SURF與SURF WM兩種方法求算主方向的比較結果 23 圖4.1 EKF SLAM的程式流程 25 圖4.2 規劃的C++類別 25 圖4.3 SURF特徵偵測的流程 26 圖4.4 SURF描述向量的計算流程 27 圖5.1 雙眼立體視覺系統 30 圖5.2(a) SLAM系統狀態 33 圖5.2(b)上視圖 33 圖5.2 SLAM系統解說圖 33 圖5.3 實驗場景圖 34 圖5.4(a) SURF WM偵測方法系統狀態圖 35 圖5.4(b) SURF WM偵測方法上視圖 35 圖5.4(c)原始SURF偵測方法系統狀態圖 35 圖5.4(d)原始SURF偵測方法上視圖 35 圖5.4 16維描述向量時SLAM任務系統狀態與上視圖 35 圖5.5 16維描述向量兩方法比對率比較結果 36 圖5.6(a) SURF WM偵測方法系統狀態圖 37 圖5.6(b) SURF WM偵測方法上視圖 37 圖5.6(c) 原始SURF偵測方法系統狀態圖 37 圖5.6(d) 原始SURF偵測方法 37 圖5.6 64維描述向量時SLAM任務任務系統狀態與上視圖 37 圖5.7 64維描述向量兩方法比對率比較結果 38 圖5.8 實驗場景圖 39 圖5.9 16維SURFWM 的SLAM任務任務系統狀態(左)與上視圖(右) 40 圖5.10 16維SURF的SLAM任務任務系統狀態(左)與上視圖(右) 41 圖5.11 64維SURFWM 的SLAM任務任務系統狀態(左)與上視圖(右) 41 圖5.12 64維SURF的SLAM任務任務系統狀態(左)與上視圖(右) 42 圖5.13 攝影機移動路線示意圖 43 圖5.14 SURFWM、16維描述向量的系統狀態(左)與上視圖(右) 44 圖5.15 SURF、16維描述向量的系統狀態(左)與上視圖(右) 45 圖5.16 SURFWM、64維描述向量的系統狀態(左)與上視圖(右) 46 圖5.17 SURF、64維描述向量的系統狀態(左)與上視圖(右) 47 圖5.18 SURFWM、16維描述向量的系統狀態(左)與上視圖(右) 49 圖5.19 SURF、16維描述向量的系統狀態(左)與上視圖(右) 50 圖5.20 SURFWM、64維描述向量的系統狀態(左)與上視圖(右) 50 圖5.21 SURF、64維描述向量的系統狀態(左)與上視圖(右) 51 圖5.22(a) 97 th影像：新增44個特徵點 53 圖5.22(b) 200 th影像：攝影機往左移動 54 圖5.22(c) 300 th影像：攝影機返回 54 圖5.22(d) 382 th影像：攝影機往右移動 54 圖5.22(e) 463 th影像：攝影機返回原點 55 圖5.22(f) 523 th影像：攝影機距離牆壁220公分 55 圖5.22(g) 553 th影像：攝影機距離牆壁190公分 55 圖5.22(h) 590 th影像：攝影機距離牆壁160公分 56 圖5.22(i) 624 th影像：攝影機距離牆壁130公分 56 圖5.22(j) 653 th影像：特徵點比對比例最少的時候的情景 56 圖5.22(k) 672 th影像：攝影機距離牆壁100公分 57 圖5.22(l) 713 th影像：攝影機距離牆壁130公分 57 圖5.22(m) 753 th影像：攝影機距離牆壁160公分 57 圖5.22(n) 790 th影像：攝影機距離牆壁190公分 58 圖5.22(o) 824 th影像：攝影機距離牆壁220公分 58 圖5.22(p) 864 th影像：攝影機距離牆壁250公分 58 圖5.22 SURF的尺度不變特性應用於SLAM中 58 圖5.23 各距離的特徵比對比率 59 圖5.24(a) 50th影像：建立20個地標 60 圖5.24(b) 250th影像：攝影機移動旋轉至＋15° 60 圖5.24(c) 410th影像：攝影機移動旋轉至＋30° 60 圖5.24(d) 610th影像：攝影機移動旋轉至＋45° 61 圖5.24(e) 780th影像：攝影機移動旋轉至＋60° 61 圖5.24(f) 970th影像：攝影機移動旋轉至＋75° 61 圖5.24(g) 1200th影像：攝影機移動旋轉至＋60° 62 圖5.24(h) 1400th影像：攝影機移動旋轉至＋45° 62 圖5.24(i) 1590th影像：攝影機移動旋轉至＋30° 62 圖5.24(j) 1720th影像：攝影機移動旋轉至＋15° 63 圖5.24(k) 1890th影像：第一次回到初始位置 63 圖5.24(l) 2050th影像：攝影機移動旋轉至－15° 63 圖5.24(m) 2250th影像：攝影機移動旋轉至－30° 64 圖5.24(n) 2430th影像：攝影機移動旋轉至－45° 64 圖5.24(o) 2640th影像：攝影機移動旋轉至－60° 64 圖5.24(p) 2800th影像：攝影機移動旋轉至－75° 65 圖5.24(q) 3000th影像：攝影機移動旋轉至－60° 65 圖5.24(r) 3240th影像：攝影機移動旋轉至－45° 65 圖5.24(s) 3450th影像：攝影機移動旋轉至－30° 66 圖5.24(t) 3590th影像：攝影機移動旋轉至－15° 66 圖5.24(u) 3700th影像：第二次回到初始位置 66 圖5.24 SURF的角度不變特性應用於SLAM中 66 圖5.25 各角度的地標比對率 67 表目錄 表5.1 前視型單眼攝影機規格表 30 表5.2 筆記型電腦規格表 31 表5.3 左攝影機內部參數 31 表5.4 右攝影機內部參數 31 表5.5 左影像修正模型參數 31 表5.6 右影像修正模型參數 32 表5.7 16維描述向量與SURF WM偵測方法的地面基準實測數據 35 表5.8 16維描述向量與原始SURF偵測方法的地面基準實測數據 35 表5.9 16維描述向量總比對率比較 36 表5.10 64維描述向量與SURF WM偵測方法的地面基準實測數據 37 表5.11 64維描述向量與原始SURF偵測方法的地面基準實測數據 37 表5.12 64維描述向量兩方法總比對率比較 38 表5.13 16維SURFWM地面基準實測數據 40 表5.14 16維SURF地面基準實測數據 41 表5.15 64維SURFWM地面基準實測數據 42 表5.16 64維SURF地面基準實測數據 42 表5.17 SURFWM、16維描述向量的地面基準實測數據 44 表5.18 SURF、16維描述向量的地面基準實測數據 45 表5.19 SURFWM、64維描述向量的地面基準實測數據 46 表5.20 SURF、64維描述向量的地面基準實測數據 47 表5.21 16維SURFWM地面基準實測數據 49[[note]]學號: 699371224, 學年度: 10