[[alternative]]Visual imitation of humanoid robot for 3-D motion of a human

碩士[[abstract]]近幾年機器人相關的研究十分熱門，不只在學術上，許多企業界也紛紛成立機器人相關部門，從事機器人相關研究及開發。隨著科技的進步，機器人硬體的體積縮小、處理器效能增加、其價格大幅度的下降等改善，現今的機器人技術發展不僅是要求效能，而且追求智慧化及人性化。除希望機器人的動作越來越像真實人類的動作，更希望其能透過各種感測器自主判斷完成工作。目前常以視覺鏡頭當作感測器，經由鏡頭攝取影像，再將影像經由不同的演算法做分析處理，完成如影像辨識、視覺導引、視覺定位或視覺追蹤之類的工作。而機器視覺應用於人形機器人，其發展目標希望能如同人類眼睛般地辨識與分析影像。在機器視覺三維座標的研究中，如只藉由單一鏡頭，所得到的影像資訊太少，不足以直接地處理三維座標之研究任務。而立體視覺使用兩台或兩台以上攝影機同時截取影像，並建立三維座標之資訊。 本論文乃是應用Videre Design的雙眼視覺相機STOC，其具有內建處理器，除了可以傳回當前即時影像外，尚可以即時進行影像處理，並計算當前影像的立體資訊。本實驗所用之小型人形機器人的高度為43公分，重量2.9公斤，全身包含頭部共有23個自由度，並依此自由度之限制規劃出所需之機器人動作，並使用嵌入式單板電腦RB-100利用我們所設計的人機介面對機器人的馬達下達指令。本論文著重於人形機器人模仿人類三維動作的研究，首先，表演者站在機器人前做連續的動作，機器人由雙眼攝影機截取表演者的影片，經過影像處理得到表演者的5個特徵點(即頭、雙手尖、雙腳尖)，接著估算並記錄其三維座標。接著，分析表演者的動作以獲得關鍵姿勢影片，緊接著分類表演者的下半身動作為九類，以利於機器人能夠平衡的前提下，進行人類三維運動之模仿。由於人類動作的三維座標比機器人大很多，是故必須將其透視投影至機器人尺寸一樣的三維座標，以利於上半身動作的模仿。再接著以類神經網路建立關鍵姿勢影片之雙手尖及頭部的三維座標轉換為馬達控制命令，再以人機介面執行馬達控制命令，完成相關模仿任務。最後，以相關模仿實驗驗證所提方法之有效性。[[abstract]]The proposed humanoid robot (HR) with a stereo vision system (SVS) captures a sequence of 3-D motion images of a human, which is faced to the proposed HR. After the inquiry of enough motion sequences and suitable image processing, the HR will imitate the important postures of the human. The image processing for every sampled image includes motion detector via background registration, morphology filtering of high frequency noise, and estimation of five feature points (i.e., head, four tips of two arms and legs). In sequence, the extraction of key posture frames is obtained. To guarantee that the imitation of HR is under the constraint of static balance, these frames for the lower body of human are categorized as nine classes. Because the 3D coordinates of human motion are much larger than that of an HR. At beginning, these coordinates of human are perspectively transformed to that suitable for the size of an HR. As to the upper body of human (i.e., two tips of arm and head), the corresponding inverse kinematics are respectively approximated by multilayer neural network (MLNN). Finally, the imitation of humanoid robot for the 3D motion of a human is accomplished by the combination of the motion of lower body categories and the motion of upper body via inverse kinematics of two tips of arm and head. Finally, the corresponding experimental results are presented to confirm the usefulness of the proposed method.[[tableofcontents]]目錄 中文摘要 I 英文摘要 II 目錄 III 圖目錄 V 表目錄 IX 第一章 序論 1 第二章 系統描述和研究任務 4 2.1系統描述 4 2.2雙眼立體視覺系統 6 2.3硬體介紹 9 2.4研究任務 12 第三章 影像處理 14 3.1 運動檢測 14 3.2 姿態估計 20 第四章 關鍵姿勢影片之偵測 23 4.1研究動機 23 4.2關鍵姿勢影片判斷 23 4.3參考特徵點選取 29 4.4 關鍵姿勢影片判斷實驗結果 35 4.4.1實驗一 35 4.4.2實驗二 39 第五章 下半身動作分類判斷 43 5.1 重心偏移狀態 44 5.2 伸腿狀態 45 5.3 抬腿狀態 46 第六章 類神經網路估算馬達控制命令 48 6.1類神經網路特性 48 6.2類神經網路訓練 49 6.3 軌跡座標與馬達控制角度之轉換 50 6.4 馬達角度之估算結果 59 第七章 實驗結果及討論 63 7.1 實驗介紹 63 7.2 實驗結果 63 7.3 討論 66 第八章 結論與未來展望 67 參考文獻 69 圖目錄 圖2.1、機器人照片 4 圖2.2、機器人23個自由度示意圖 4 圖2.3、機器人系統架構圖 5 圖2.4、雙眼視覺攝影機STOC圖 6 圖2.5、雙眼視覺攝影機STOC座標軸 7 圖2.6、雙眼攝影機STOC可視範圍示意圖 8 圖2.7、嵌入式系統Roboard-100 9 圖2.8、KRS‐2350與KRS‐4014馬達 11 圖2.9、機器人模仿人類三維運動流程圖 13 圖3.1、An(i)與線段L(ix)的距離 15 圖3.2、不同k值時動作檢測結果 17 圖3.3、Fn(x,y)與Fn+1(x,y)陣列 18 圖3.4、相除法的比值Rn(x,y) 18 圖3.5、Rn(x,y)的直方圖，及其累計直方圖 19 圖3.6、二值化剪影Bn(x,y) 19 圖3.7、主傾斜軸與短軸判斷 20 圖3.8、估算5個特徵點 22 圖3.9、曲率θc示意圖 22 圖4.1、Pi(k)與Qi(k)示意圖 24 圖4.2、移動狀態與關鍵動作關係圖 25 圖4.3、(a)動作一剪影(b)及其di(k)值 26 圖4.4、舉右手動作的關鍵姿勢 27 圖4.5、(a)動作二剪影(b)及其di(k)值 28 圖4.6、計算特徵點變化量di(k)的流程圖 30 圖4.7、關鍵姿勢影片判斷流程圖 31 圖4.8、使用新的Qi(k)選取規則與原本結果之比較 32 圖4.9、動作二剪影 33 圖4.10、動作二的關鍵動作 34 圖4.11、實驗一的十六個動作之正面及側面圖 35 圖4.12、實驗一所得到的關鍵姿勢影片 36 圖4.13、實驗一的關鍵姿勢影片之判斷剪影圖 38 圖4.14、實驗二的十六個動作之正面及側面圖 39 圖4.15、實驗二所得到的關鍵姿勢影片 40 圖4.16、實驗二的關鍵姿勢影片之判斷剪影圖 42 圖5.1、重心偏移狀態 44 圖5.2、抬腿狀態圖 46 圖5.3、伸腿狀態 47 圖6.1、軌跡座標轉換馬達控制角度 50 圖6.2、左手類神經建模區域示意圖 51 圖6.3、估算手部馬達角度之類神經網路架構圖 52 圖6.4、多層感知器類神經網路訓練結果圖 54 圖6.5、右手前下區域輸出結果與原始目標之比較圖 55 圖6.6、右手前上區域輸出結果與原始目標之比較圖 55 圖6.7、右手後上區域輸出結果與原始目標之比較圖 56 圖6.8、右手後下區域輸出結果與原始目標之比較圖 56 圖6.9、左手前下區域輸出結果與原始目標之比較圖 57 圖6.10、左手前上區域輸出結果與原始目標之比較圖 57 圖6.11、左手後上區域輸出結果與原始目標之比較圖 58 圖6.12、左手後下區域輸出結果與原始目標之比較圖 58 圖6.13、右手前下區域類神經網路估算馬達角度結果分析圖 59 圖6.14、右手前上區域類神經網路估算馬達角度結果分析圖 59 圖6.15、右手後上區域類神經網路估算馬達角度結果分析圖 60 圖6.16、右手後下區域類神經網路估算馬達角度結果分析圖 60 圖6.17、左手前下區域類神經網路估算馬達角度結果分析圖 61 圖6.18、左手前上區域類神經網路估算馬達角度結果分析圖 61 圖6.19、左手後上區域類神經網路估算馬達角度結果分析圖 62 圖6.20、左手後下區域類神經網路估算馬達角度結果分析圖 62 圖7.1、模仿結果比較圖 65 表目錄 表2.1、STOC雙眼視覺系統規格表 6 表2.2、嵌入式系統Roboard-100規格表 10 表5.1、下半身站立狀態分類 43[[note]]學號: 699470190, 學年度: 10