Visual Servo Tracking of a Wheeled Mobile Robot Based on Features of Objects and Depth of Scenery

在機器視覺的應用中，以位置誤差或影像特徵誤差作為控制誤差，使機器手臂或自走車從初始位置到達目標位置的過程，稱為視覺伺服。多數方法中，視覺伺服的控制法則會遇到實作上的問題，例如區域極小值的發生、追蹤路徑的無法預測性或目標特徵難以偵測等。本論文利用特徵偵測演算法從當前影像中辨識出目標物體，再利用目標物體的影像座標位置進行自走車搜尋階段的切換，再利用深度值視覺伺服的原理，對於當前影像與目標影像進行誤差極小化的收斂動作，使得自走車體可以如預期的從初始位置到達預期的目標位置，進而達到路徑規劃的目的。本論文使用了加速強健特徵點演算法(Speed up robust feature, SURF)進行特徵點的偵測，並使用隨機取樣篩選演算法(RANdom sample consensus, RANSAC)進一步進行特徵點的過濾，以優化特徵偵測的結果。本論文更設計了一套內含錯誤判斷機制的兩階段視覺伺服系統，讓自走車能夠在任意設定的初始狀況與初始影像中，成功的透過旋轉的搜尋方式成功的找到物體，並藉由物體的影像座標來進行目標物體的定位，以此強化深度視覺伺服的成功率，並以此強化了先前方法中深度視覺伺服系統的實用性。最後透過實驗，證實了此方法應用在路徑規劃的可行性。In the application of machine vision, the process of taking the position error or image feature error as the control error, the robot arm or the mobile robot from the initial position to the target position is called the visual servo. In most methods, the control law of the visual servo encounters practical problems such as the occurrence of the local minimum, the unpredictability of the tracing path, or the difficulty of detecting the target feature. In this paper, the feature detection algorithm is used to identify the target object from the current image, and then use the image coordinate position of the target object to switch from the mobile robot search stage, and then use the principle of the depth value visual servo to carry on the current image and the target image The minimization of the convergence of the action, so that the robot can be expected from the initial location to reach the desired target location, and then achieve the purpose of path planning. In this paper, we use the speed up robust feature (SURF) to detect the feature points, and use the random sampling screening algorithm (RANSAC) to further filter the feature points to optimize the feature detection. In this paper, we design a set of two-stage visual servo system with error judgment mechanism, so that the mobile robot can successfully find the object through the rotation search method in the initial situation and the initial image and target the target location by object image coordinates in order to strengthen the depth of the visual servo success rate, and thus to strengthen the previous method of deep vision servo system practicality. Finally, through the experiment, it is proved that the method is applied to the feasibility of path planning.Chapter 1 緒論 1 1.1 動機 1 1.2 視覺伺服 2 1.3 各章內容簡介 2 1.4 論文貢獻 2 Chapter 2 文獻回顧 4 2.1 影像特徵 4 2.1.1 特徵偵測 4 2.1.2 特徵描述 5 2.1.3 特徵配對 6 2.2 視覺伺服 6 Chapter 3 系統架構 9 3.1 自走車架構 9 3.1.1 平板電腦 10 3.1.2 Ubot硬體規格與尺規架構 10 3.1.3 超音波感測器 11 3.1.4 紅外線感測器 11 3.2 無線網路介面 12 3.3 RGB-D攝影機 12 3.4 軟體 14 Chapter 4 基於物體特徵與場景深度之視覺伺服追蹤 15 4.1 階段一：目標搜尋與影像疊合 16 4.1.1 特徵偵測：SURF 17 4.1.2 特徵描述：SURF 18 4.1.3 特徵配對：FLANN 18 4.1.4 特徵過濾：RANSAC 18 4.1.5 特徵比對目標選擇與比較 21 4.1.6 行走模式判斷 23 4.2 階段二：深度追蹤 24 4.2.1 影像前處理 24 4.2.2 Control Law：自走車Jacobian Matrix 26 4.2.3 Control Law：Interaction Matrix 29 4.2.3.1 剛體動力學 29 4.2.3.2 相機針孔模型 31 4.2.3.3 深度 Interaction Matrix 33 4.2.4 Control Law：Interaction Matrix穩定 34 4.2.5 Control Law：Interaction Matrix選用 35 4.2.6 Control Law：兩輪速度計算 37 4.2.7 追蹤方式與異常監控 38 Chapter 5 實驗 40 5.1 各部分測試 40 5.1.1 目標物體選用 40 5.1.2 階段切換條件 43 5.1.2.1 搜尋模式 43 5.1.2.2 目標定位模式 45 5.1.2.3 深度追蹤模式 45 5.1.3 雜訊強健 47 5.1.3.1 複雜背景單物體 47 5.1.3.2 類似物體白背景 48 5.1.3.3 類似物體與複雜背景 48 5.2 單一目標流程整合追蹤結果 49 5.3 多目標追蹤 52 5.4 方法比較 55 Chapter 6 結論 62 參考文獻 6