[[alternative]]The command control of task execution for a humanoid robot by hand gesture moment invariants

碩士[[abstract]]本論文主要為實現以視覺為基礎之方法進行手勢辨識，並計算該手勢的力矩不變量值，經由機率類神經網路(Probabilistic Neural Network)執行手勢分類，最後透過不同的手勢類別來對人形機器人下達控制命令。本論文所使用的人形機器人為身高60公分，重量3.5公斤，及全身共23個自由度之人形機器人，透過嵌入系統PICO820來進行影像處理的部分，最後經由另一組嵌入系統RB-100來執行人形機器人的動作控制。此研究主要由四個部份整合而實現完成，分別為人形機器人的動作規劃、視覺影像的處理、機率類神經網路對於手勢的分類以及人形機器人的任務與策略規劃，透過以上四個部分的整合來完成以手勢力矩不變量控制人形機器人避障之研究。 本論文利用一般常見的網路攝影機(Webcam)來執行影像擷取的功能，並將所擷取的原始影像輸入到PICO820做一系列的影像處理，利用圖像分割法(Graph Cuts)獲得最佳切割閥值，接著以機率類神經網路分類所有類膚色之物件，以切割不同的皮膚顏色。相較於以往利用固定閥值切割皮膚顏色，所建議的方法較能克服於複雜環境及具有不同燈光條件之不同皮膚顏色的切割。另外還有其它相關影像濾波、計算膚色部分的面積與周長，以及計算手勢在該影像的力矩不變量值，最後，再次利用機率類神經路執行手勢的分類，手勢的種類共有八種，透過八種不同的手勢可以對人形機器人下達八種不同的命令。 由於手勢辨識的準確性將會影響到後續人形機器人的相關操控與任務的執行，因此，本論文最後在燈光光源強度不同的情況下，進行手勢辨識率的測試;為了驗證本論文的手勢辨識功能對於光源強度不同是否會影響手勢的正確辨識率，另一方面也可驗證本論文對於不同燈光下的強建性。最後，經由實驗結果得知，本論文所提出之方法與研究內容，確實可以實際的利用手勢控制人形機器人。[[abstract]]In this thesis, hand-gesture-based command control of a humanoid robot by the dynamic threshold of skin color using graph cuts, the classification of skin-like object using PNN (Probabilistic Neural Network), and the classification of different hand gestures using another PNN. The proposed humanoid robot is height 60 cm, weight 3.5 kg, and 23 degrees of freedom. The main subsystems of HR include a single board computer PICO820 for the image processing, another single board computer RB-100 for the motion control of HR. This thesis is achieved by the four parts, the order of humanoid robot motion design, visual image processing, probability neural network for gesture classification and the task design of humanoid robot and the strategy planning, through the above four parts to complete the command control and obstacle avoidance of a humanoid robot by hand gesture moment invariants. In this thesis, we use the general common webcam to perform the image captured, the image captured by webcam will input to PICO820 do image processing, Including Image space conversion, image separation and merger, binary image, Image filter processing, image area and perimeter calculation , mask calculation of Image and hand gesture moment Invariants of the image related processing. Using probability neural network to do the classification of hand gesture, total have eight categories of hand gestures, through eight different hand gesture can control humanoid robot do the eight different motion, and when humanoid robot received the command, it will automatically go to the implementation of related tasks. Because the accurate recognition and classification of different hand gestures will affect the execution of task for a humanoid robot, various verifications of hand gesture, e.g., different lighting conditions, capable classification of different hand gestures, and the hand gesture in complex environment, must confirm. Finally, through the experimental results, the method proposed in this thesis can successfully execute various tasks (e.g., obstacle avoidance, soccer kicking and target grasping) for a humanoid robot.[[tableofcontents]]中文摘要 I 英文摘要 II 目錄 III 圖目錄 VI 表目錄 IX 第一章 緒論 1 1.1 研究背景 1 1.2 研究動機與目的 2 1.3 論文架構 4 第二章 系統描述及任務陳述 5 2.1 系統描述 5 2.1.1 視訊輸入裝置 5 2.1.2 影像處理 6 2.1.3 人形機器人 9 2.1.4 人機介面與影像人機介面 11 2.2 研究任務 12 第三章 影像處理與膚色切割 14 3.1 影像處理 14 3.2 影像色彩空間轉換 15 3.3 應用圖像分割法尋找類膚色的區域 16 3.4 影像形態學濾波 22 3.5 影像面積過濾與感興趣區域之選擇 23 3.6 影像面積與周長之計算 26 第四章 力矩不變量 29 4.1 力矩不變量概述 29 4.2 力矩不變量之定義 30 4.3 手勢力矩不變量之計算 32 第五章 應用機率類神經網路之分類 35 5.1 機率類神經網路概述 35 5.2 機率類神經網路定義 36 5.3 應用機率類神經網路於感興趣區域的膚色分類 37 5.4 應用機率類神經網路於手勢分類 44 5.5 分類正確率測試 46 第六章 實驗設計與場地規劃 51 6.1 實驗設計 51 6.2 場地規劃 54 第七章 實驗結果與討論 56 7.1 實驗結果 56 7.2 實驗結果討論 63 第八章 結論與未來展望 64 8.1 結論 64 8.2 未來展望 64 參考文獻 66 圖目錄 圖2.1、系統架構圖 5 圖2.2、攝影機實體圖 6 圖2.3、嵌入式系統PICO820 7 圖2.4、嵌入系統RB-100 8 圖2.5、人形機器人實體圖 9 圖2.6、人形機器人23個自由度示意圖 10 圖2.7、人機介面 11 圖2.8、影像人機介面 12 圖3.1、圖像分割法的流程圖 19 圖3.2、公式(3.9)示意圖 21 圖3.3、二值化結果圖 22 圖3.4、侵蝕和膨脹的結果圖 22 圖3.5、框選感興趣區域示意圖 23 圖3.6、階段性的影像處理流程圖 24 圖3.7、圖像分割法計算Ncut的響應圖 25 圖3.8、未加入面積與周長判斷結果圖 27 圖3.9、加入面積與周長判斷結果圖 27 圖3.10、影像處理流程圖 27 圖4.1、力矩不變量流程圖 31 圖5.1、機率類神經網路架構圖 37 圖5.2、機率類神經網路分類膚色與非膚色架構圖 38 圖5.3、於複雜環境之影像處理 41 圖5.4、於複雜環境及不同燈光條件之影像處理 43 圖5.5、機率類神經網路之手勢分類架構圖 44 圖5.6、8種手勢的分類結果圖 45 圖5.7、8盞燈示意圖 47 圖5.8、4盞燈示意圖 48 圖5.9、2盞燈示意圖 48 圖6.1、實驗流程圖 53 圖6.2、實驗場地示意圖 54 圖6.3、實驗場地實體圖（正面）55 圖6.4、實驗場地實體圖（背面）55 圖7.1、執行踢球任務 58 圖7.2、圖7.1之追蹤響應 59 圖7.3、執行抓取球任務 61 圖7.4、圖7.3之追蹤響應 62 表目錄 表2.1(a)、攝影機規格表 6 表2.1(b)、嵌入式系統PICO820規格表 7 表2.1(c)、嵌入系統RB-100規格表 8 表2.1(d)、馬達規格表 10 表3.6(a)、手勢面積與周長變化量統計表 26 表4.3(a)、八種手勢原始圖 32 表4.3(b)、八種手勢二值化圖 32 表4.3(c)、第七類手勢的六種情況 33 表4.3(d)、第七類手勢六種情況所計算出的力矩不變量值 33 表5.5(a)、8盞燈情況下的分類正確率 47 表5.5(b)、4盞燈情況下的分類正確率 48 表5.5(c)、2盞燈情況下的分類正確率 49 表6.1(a)、手勢命令與機器人動作表 51 表6.1(b)、系統互動設計 52[[note]]學號: 698470076, 學年度: 9