Localization and Obstacle-Avoiding Path Planning of a Mobile Robot with Kinect Sensor

本論文使用微軟的Kinect感測器提供影像深度資料，並利用影像處理的技術，以海利斯角點偵測(Harris Corner Detector)演算法取得影像中的特徵點，得到該特徵點的三維座標，其中Z座標直接使用Kinect感測器的資料。機器人定位則針對連續兩張影像由ICP (Iterative Closest Point)演算法計算其平移向量和旋轉矩陣，經由不斷的即時運算可描繪出移動式平台的行走軌跡及方向。而在避障方面本研究利用Kinect感測器提出一種新的避障設計方式，將深度影像分割八等分，如同有八個感測器，當區塊內出現障礙物，則判斷前方有障礙物並進入閃避模式，而再由電腦端判斷距離目標區域多遠，單純以影像座標為基礎，讓全向式機器人逐漸縮短與目標區域的距離，最後達到指定區域。In this thesis, Microsoft''s Kinect sensor is used for providing the image depth. And via the image processing technology, we use Harris corner detector algorithms to obtain the image feature points, and to get the three-dimensional coordinates of the feature points. The Z coordinates can be read directly by the Kinect sensor. Furthermore, using two successive images, ICP (Iterative Closest Point) is used to obtain the robot’s translation vector and rotation matrix. By real-time computing continuously, the localization of the robot platform can be obtained. In the obstacle avoidance study, we present a new obstacle avoidance design approach by using the Kinect sensor. The depth image is first segmented into eight portions, with the equal effect of eight sensors. When there is an obstacle within the forward segment, the platform can be set in dodge mode to dodge the obstacle. The PC could also judge how far from the target based on the localization result, and the omni-directional robot can be commanded suitable motions to decrease the distance between the robot and the target area. Finally the robot can reach the desired target area.誌謝 i 摘要 ii Abstract iii 圖目錄 vi 表目錄 x 符號說明 xi 第一章 緒論 1 1.1. 研究動機 1 1.2. 文獻回顧 3 1.3. 論文大鋼 4 第二章 系統與軟硬體架構 6 2.1. 系統架構 6 2.2. 軟硬體架構 7 2.2.1. Kinect感測器 7 2.2.2. 電腦控制端 11 2.2.3. 移動式平台組件 13 第三章 全向式機器人定位 17 3.1. 像素間的基本關係 17 3.1.1. 像素的近鄰 18 3.1.2. 連接性、連通性、區域和邊界 20 3.2. 相機校正 22 3.2.1. 影像的扭曲 23 3.2.2. 相機校正程序 25 3.3. 特徵點選取與演算法 28 3.3.1. 特徵點選取 28 3.3.2. 海利斯角點偵測法(Harris Corner Detector) 33 3.4. Iterative Closest Point演算法 37 3.5. 機器人定位方式 45 第四章 Kinect實測與避障路徑規劃 49 4.1. Kinect感測器 49 4.1.1. Kinect 彩色影像串流 50 4.1.2. Kinect深度影像串流 53 4.2. 機器人避障路徑規劃 58 4.2.1. 影像八分割 59 4.2.2. 避障路徑規劃 61 第五章 實驗結果與討論 66 5.1. 定位與路徑規劃實驗 66 5.2. 避障路徑規劃 72 5.3. 分析與討論 93 第六章 結論與建議 95 參考文獻 9