[[alternative]]Improving the accuracy of stereo vision-based localization system for humanoid soccer robot

碩士[[abstract]]本論文針對2010年世界盃機器人足球競賽人形機器人足球比賽之規則提出了一套立體視覺自定位系統(Stereo Vision-Based Self-Localization System, SVBSLS)，此足球機器人將整合頭部水平與垂直方向馬達和立體視覺資訊，完成機器人於足球場上之自定位與量測足球之距離。此系統演算法開始先利用三角函數公式找尋機器人與地標、足球粗略的距離後，更進一步的採用類神經網路技術以提升距離的精準度，接著利用統計方法，求得人形機器人相對於地標的方位。 本研究著重在如何建構一套符合各種型號的攝影機且有效的機器人定位系統。一般以影像方式所完成之定位系統往往需要攝影機的內部參數，在此，我們利用一套有系統的方法自行量測攝影機之內部參數。根據上述所言，我們將能使用任何種類的攝影機並且準確的估測機器人在足球場上的座標與足球之距離。 實驗結果顯示，本論文所提出之SVBSLS定位系統，人形足球機器人自定位之精準度達到100%；人形足球機器人與足球距離平均誤差為0.64公分。[[abstract]]This thesis proposes a new Stereo Vision-Based Self-Localization System (SVBSLS) for the RoboCup soccer humanoid league rules of the 2010 competition. The humanoid robot integrates the information from the pan/tilt motors and stereo vision to accomplish the self-localization and measure the distance the soccer. The proposed approach uses the trigonometric function to find the coarse distances from the robot to the landmark and the robot to the soccer, and then it further adopts the artificial neural network technique to increase the precision of the distance. Next the statistics approach is used to calculate the relationship between the humanoid robot and position of the landmark. This research also focuses on how to establish an efficient robot localization system by using any type of CCD cameras. Generally the image-based localization system needs the intrinsic parameters. For the CCD camera adjustment, we propose a systematic method to measure the intrinsic parameters. By this approach, any type of CCD camera can be used to calculate the distance from the coordinates of robot on soccer field to the soccer. The experimental results indicate that the localization system of SVBSLS in this work has 100% average accuracy ratio for localization. The average error of distance from the humanoid soccer robot to the soccer is only to 0.64 cm.[[tableofcontents]]中文摘要 I 英文摘要 II 內文目錄 III 圖表目錄 VII 第一章 緒論 1 1.1研究背景 1 1.2研究主題與動機 2 1.3論文架構 3 第二章 文獻探討 5 2.1 RoboCup 2010簡介 5 2.1.1 緣由 5 2.1.2 RoboCup 2010人形機器人組場地介紹 7 2.1.3 RoboCup 2010人形機器人組比賽規則介紹 10 2.2 概述 11 2.3 人形機器人足球比賽之定位相關技術 12 2.3.1 全方向鏡視覺定位 13 2.3.2 單眼視覺定位 14 2.3.3 立體視覺定位 16 2.3.4 超音波定位 17 第三章 立體視覺之機器人自定位系統架構 19 3.1 立體視覺輸入與機器人座標輸出區塊 21 3.2 座標建立與物件偵測區塊 22 3.3 人形機器人位置估測區塊 23 3.4 人形機器人與足球距離估測與足球距離輸出區塊 25 第四章 座標建立與物件偵測區塊 26 4.1 建立座標系統 26 4.2 物件偵測系統 27 4.2.1 色彩空間轉換 28 4.2.2 球場物件辨識 32 4.2.2.1 地標球柱辨識 33 4.2.2.2 地標球門外框辨識 35 4.2.2.3 足球的辨識 36 4.2.3 完整地標之判定 37 第五章 人形機器人位置估測區塊 39 5.1 機器人與地標間距離量測 40 5.1.1 內部參數量測 40 5.1.2 距離量測 45 5.2 提升距離精準度 47 5.2.1 倒傳遞類神經網路 (BPN Network) 47 5.2.2 距離精度提升 49 5.3 機器人方位估測與校正 54 5.4 人形機器人位置估測 57 第六章 人形機器人與足球距離估測區塊 58 第七章 系統實驗與效能 59 7.1 實驗環境與機器人模組 59 7.2 球場物件辨識分析 63 7.2.1 地標球柱辨識分析 63 7.2.2 地標球門辨識分析 65 7.2.3 足球辨識分析 66 7.3 完整地標與足球之判斷 67 7.4 立體視覺之視差分析 68 7.5 地標與機器人方位於畫面中之校正 70 7.6 自訂攝影機內部參數 71 7.7 距離量測之精準度模擬 73 7.8 距離之分析與比較 74 7.9 實際場地之人形機器人自定位 76 7.10 單雙眼比較 79 第八章 結論 82 8.1 研究成果 82 8.2 未來研究方向 83 參考文獻 85 圖表目錄 圖目錄 圖1.1 ROBOCUP KID-SIZE人形足球機器人場地結構 2 圖2.1 ROBOCUP 2010 人形機器人足球競賽場地之俯視圖 7 圖2.2 地標球門外框尺寸示意圖 9 圖2.3 地標球柱尺寸示意圖 9 圖2.4 模擬比賽場地全景 10 圖2.5 相鄰影像中之物體大小形變比較 13 圖2.6 特徵物件距離評估 15 圖2.7 特徵物件距離評估(特徵物件具有特定高度時) 15 圖2.8 特徵物件與雙攝影機之幾何關係 17 圖2.9 超音波之振福波形 18 圖3.1 立體視覺之機器人自定位系統架構(SVBSLS) 21 圖3.2 影像輸入與機器人定位座標輸出區塊流程圖 21 圖3.3 座標建立與物件偵測區塊 22 圖3.4 人形機器人位置估測區塊 24 圖3.5 人形機器人與足球距離估測區塊 25 圖4.1 足球場上之地標 28 圖4.2 RGB色彩模型 29 圖4.3 HSV色彩模型 29 圖4.4 足球及地標顏色特徵分離 31 圖4.5 左、右眼標記於畫面物件特徵資訊 32 圖4.6 地標球柱辨識示意圖 33 圖4.7 地標球柱資訊輸出 34 圖4.8 地標球門資訊輸出 36 圖4.9 足球資訊輸出 37 圖4.10 完整物件判斷 38 圖5.1 攝影機內部參數 41 圖5.2 攝影機內部參數量測系統 43 圖5.3 實際的最大水平寬度DH(MAX) 44 圖5.4 畫面中地標球柱之水平資訊 44 圖5.5 三維距離量測系統 45 圖5.6 倒傳遞類神經網路架構圖 49 圖5.7 強化距離精準度流程圖 50 圖5.8 四種活化函數 52 圖5.9 人形機器人在相同位置但地標球柱在畫面中不同位置 54 圖5.10 人形機器人在足球場上之座標位置 57 圖7.1 2010 ROBOCUP人形機器人場地結構 59 圖7.2 2010 ROBOCUP競賽足球場地 60 圖7.3 人形機器人頭部視覺模組 62 圖7.4 地標球柱辦識失敗示意圖 63 圖7.5 閥值Β辦識結果 64 圖7.6 地標球門外框辦識結果 65 圖7.7 足球辦識結果 66 圖7.8 足球的遮蔽結果 67 圖7.9 10公分到300公分距離下ΔN變動量 69 圖7.10 機器人距離地標球柱為10公分之情形 71 圖7.11 機器人距離地標球柱為160、170公分之情形 71 圖7.12 模擬真實距離之誤差 74 圖7.13 真實距離的誤差IBDMS與改善後的IBDMS 75 圖7.14 使用SVBSLS估測人形機器人位置 77 圖7.15 真實距離的誤差單眼(AVBSLS)與雙眼(SVBSLS) 79 圖7.16 單、雙眼距離誤差下的定位結果 80 表目錄 表2.1 比賽球場詳細尺寸說明表 8 表2.2 定位技術比較表 12 表5.1 畫面中地標球門XC’在各個距離DK與方位α下的像素值 55 表5.2 畫面中地標球柱XC’在各個距離DK與方位α下的像素值 56 表7.1 兩眼間距8在各個距離DK與解析度下的視差 60 表7.2 兩眼間距10在各個距離DK與解析度下的視差 61 表7.3 地標球柱在相同距離不同角度下的視差 69 表7.4 左眼不同單位FH、DH(MAX)的變化值 72 表7.5 右眼不同單位FH、DH(MAX)的變化值 72 表7.6 不同單位之水平視角與光學原點距離DOP 73 表7.7 IBDMS與改善後的IBDMS測距法之平均誤差與最大誤差76 表7.8 不同測距之定位法正確率比較表 78 表7.9 單眼與雙眼的測距法之平均誤差與最大誤差 80 表7.10 單、雙眼定位法正確率比較表81[[note]]學號: 697450079, 學年度: 9