[[alternative]]Visual feedback control for table tennis robot arm

碩士[[abstract]]本論文旨在實作一套基於雙眼視覺回授之桌球機械手臂系統。以Creo 3-D 建模軟體設計5 自由度之手臂以及雙眼攝影機架，並加工實作出來。將左右攝影機影像以桌球顏色二值化再透過輪廓及最小包覆圓法辨識出桌球，最後以立體幾何關係得到球之三維座標進行追蹤。球軌跡點之近似二次曲線用在判斷球是否會打過來並且提供球之初始狀態給飛行模型。飛行模型則被用來預測下一時刻的狀態。預測模型更結合了擴張型卡爾曼濾波器藉由視覺量測修正預測模型以獲得最佳估測狀態。彈跳模型用來預測桌球碰撞到桌子之後在落點反彈起來的初始狀態。依照上述方法，我們可以預測出擊球任務所需要的擊球點。手臂第零軸將使用模糊控制使得手臂能夠左右移動，手臂第一軸使用點到點控制，能夠讓手臂座左右旋轉之動作，剩下三軸則使用函式間補控制，使得手臂能夠上下移動。此系統整合了視覺與控制，能夠將手臂移至預測出的擊球點位置。實驗結果驗證設計之視覺控制系統能有效運作。[[abstract]]This thesis mainly implements a visual feedback control system for table tennis robot arm. The 5-DOF robot arm and binocular camera racks are designed by using Creo 3-D modeling software and then manufactured. The images captured from binocular camera are thresholded according to the ball color then using contour and smallest enclosing circle method to recognize the ball. The 3-D position of the ball is computed by the stereo geometry method. The approximate second-order polynomial of ball trajectory is used to make sure if the ball is coming and it also provides the initial state of the ball for flying model. The flying model is used to predict the state of the ball at the next moment.Extended Kalman Filter is combined to modify the predict result by visual measurement for the best estimation result. The rebound model is used to predict the ball state after rebound at the landing point. By the methods we have mentioned above, we can predict the contact point of the ball for hitting mission. Fuzzy control is implemented in joint 0, which makes the arm move left or right. Profile-position control mode is implemented in joint 1, which makes the arm rotate to hit the ball. Interpolated-position control mode is implemented in left three joints,joint 2 to joint 4, which makes the arm lift up or down. The developed system integrates the vision and control systems together, which can predict the contact point then moves the arm to the right position. Experimental results show that the designed visual feedback control system works effectively.[[tableofcontents]]目錄 第一章 緒論 1 1.1 研究動機與目的 1 1.2 文獻探討 1 1.3 研究範圍 2 第二章 系統流程與硬體架構 3 2.1 桌球機器手系統流程 3 2.2 硬體架構 4 2.2.1 電腦 5 2.2.2 攝影機 6 2.2.3 鏡頭 7 2.2.4 馬達驅動系統 7 2.2.5 桌球桌 8 2.2.6 硬體規劃 8 第三章 機器手臂機構設計 10 3.1 手臂設計 11 3.2 滑軌設計 23 3.3 馬達與減速機選用準則 29 3.4 手臂性能設定與馬達選取 31 3.4.1 性能設定 31 3.4.2 由方均根計算平均扭力 34 3.4.3 手臂馬達及減速機挑選 35 3.5 滑軌性能設定與馬達選用 38 3.6 組裝與配電 41 3.7 成品 44 第四章 手臂運動學與控制 46 4.1 手臂控制規劃 46 4.2 模糊控制 46 4.2.1 模糊系統 46 4.2.2 輸入與輸出之歸屬函數 47 4.2.3 模糊規則庫 47 4.2.4 解模糊化 47 4.3 點對點控制(梯形) 48 4.4 函式補間控制 49 4.4.1 DH Table 51 4.4.2 正向運動學 52 4.4.3 逆向運動學 53 4.5 控制策略 54 第五章 視覺系統 55 5.1 影像擷取與加速 55 5.2 球體定位 56 5.2.1 球體之三維座標推導 57 5.2.2 球體於世界座標系 59 5.3 球追蹤之影像前處理 60 5.3.1 HSV 色彩空間與二值化 60 5.4 改善影像跳動 62 5.5 偵測與追蹤 62 第六章 桌球運動模型 65 6.1 曲線擬合 65 6.2 桌球飛行之運動模型 66 6.3 桌球之彈跳模型 67 6.4 結合擴張型卡爾曼濾波器 68 6.5 桌球追蹤流程 71 第七章 實驗 73 7.1 環境與設備 73 7.1.1 實驗環境 73 7.1.2 人機介面 73 7.1.3 自製攝影機架 74 7.1.4 Maxon 馬達 77 7.2 攝影機校正實驗 77 7.3 準度實驗 80 7.4 追蹤實驗 84 第八章 結論與未來展望 87 8.1 結論 87 8.2 未來展望 87 參考文獻 89 附錄A 攝影機扭曲模型與修正模型 90 圖目錄 圖2.1 實驗環境 3 圖2.2 系統架構 4 圖2.3 硬體架構 5 圖2.4 手臂系統連接架構 5 圖2.5 硬體架設圖 9 圖2.6 硬體架設圖二 9 圖3.1 機械手臂設計流程圖 10 圖3.2 初次設計手臂 12 圖3.3 AI 馬達速度扭力圖 12 圖3.4 MaxonArm 13 圖3.5 KUKA YouBot 13 圖3.6 手臂工作空間示意圖一 14 圖3.7 手臂工作空間示意圖二 14 圖3.8 MaxonArm 馬達軸 16 圖3.9 第一軸外觀 17 圖3.10 第一軸剖面圖 17 圖3.11 (a)為深溝滾珠軸承 (b)為止推軸承 18 圖3.12 徑向力與軸向力 18 圖3.13 C 型扣環 18 圖3.14 第二軸外觀 19 圖3.15 第二軸剖面圖 19 圖3.16 第三軸外觀 20 圖3.17 第三軸剖面圖 20 圖3.18 第四軸外觀 21 圖3.19 第四軸剖面圖 21 圖3.20 第四軸球拍與第一軸旋轉軸對齊 22 圖3.21 滑軌設計圖 23 圖3.22 主體 24 圖3.23 皮帶驅動左側 24 圖3.24 馬達與皮帶輪之聯軸器 25 圖3.25 皮帶驅動右側 25 圖3.26 皮帶輪 26 圖3.27 可調整式皮帶固定槽 26 圖3.28 時規皮帶 27 圖3.29 滑塊 27 圖3.30 皮帶固定夾 28 圖3.31 為與皮帶配合之齒型件 28 圖3.32 滑塊與手臂基座之連結 29 圖3.33 線圈熱時間常數圖 30 圖3.34 轉速-扭力圖 31 圖3.35 承受負載之轉速-扭力圖 31 圖3.36 馬達運動軌跡規劃；(a)角度與時間軌跡(b)角速度與時間軌跡(c)角加速度對時間之軌跡 33 圖3.37 時間-加速度圖 35 圖3.38 第一軸所需驅動之桿件 36 圖3.39 第二軸所需驅動之桿件 36 圖3.40 第三軸所需驅動之桿件 36 圖3.41 第四軸所需驅動之桿件 36 圖3.42 滑軌馬達點到點梯形運動軌跡 38 圖3.43 電力系統圖 41 圖3.44 實體配電圖 41 圖3.45 配電盤於滑軌下位置 42 圖3.46 滑軌組裝圖 42 圖3.47 手臂組裝圖 43 圖3.48 成品示意圖 44 圖3.49 滑軌實體圖 44 圖3.50 手臂滑軌實體圖 45 圖4.1 模糊系統 46 圖4.2 手臂點到點梯形軌跡圖 48 圖4.3 函式間補之軌跡方程式函數圖 (a)角度與時間圖(b)角速度與時間圖(c)角加速度與時間圖 50 圖4.4 連桿間關係圖 51 圖4.5 3R 平面連桿機構 53 圖4.6 手臂控制圖 54 圖5.1 FlyCapture to OpenCV 56 圖5.2 分段執行 56 圖5.3 雙眼攝影機立體幾何 57 圖5.4 左攝影機坐標系與世界座標系之關係圖 60 圖5.5 (a)RGB 色彩空間 (b)HSV 色彩空間 61 圖5.6 HSV 拉桿與濾波效果 62 圖5.7 最小包覆圓包覆輪廓圖 63 圖5.8 (a)二值化圖 (b)追蹤與搜索窗 63 圖5.9 偵測與追蹤流程圖 64 圖6.1 卡爾濾波器模型 69 圖6.2 球軌跡預測流程 72 圖7.1 實驗環境圖 73 圖7.2 人機介面主頁 74 圖7.3 人機介面其他動態視窗 74 圖7.4 攝影機架零件圖 75 圖7.5 攝影機架組件圖 75 圖7.6 製作過程與實體圖 76 圖7.7 雙眼攝影機架設圖 76 圖7.8 左右眼影像扭曲; (a)左眼扭曲影像 (b)右邊扭曲影像 78 圖7.9 左右眼修正影像; (a)左眼修正影像 (b)右邊修正影像 79 圖7.10 左右眼修正前誤差直方圖; (a)左眼直方圖 (b)右眼直方圖 79 圖7.11 左右眼修正後誤差直方圖; (a)左眼直方圖 (b)右眼直方圖 79 圖7.12 左右眼鏡頭扭曲模型; (a)左眼扭曲模型 (b)右眼扭曲模型 80 圖7.13 實驗量測點 81 圖7.14 x-y 平面視角 82 圖7.15 y-z 平面視角 82 圖7.16 量測與實際立體圖 83 圖7.17 擬合線圖 86 圖7.18 軌跡預測圖 86 表目錄 表2.1 電腦規格 5 表2.2 攝影機規格 7 表2.3 鏡頭規格 7 表2.4 馬達規格 8 表2.5 桌球桌 8 表3.1 馬達所需承受之質量與慣性矩 37 表3.2 各軸所需扭力 37 表3.3 乘上安全係數之各軸所需扭力 37 表3.4 挑選之馬達、減速機組之參數 38 表3.5 挑選之馬達能輸出之扭力以及速度 38 表3.6 挑選之滑軌馬達與減速機規格 40 表3.7 挑選之馬達減速機組之輸出扭力與速度 40 表4.1 模糊規則庫 47 表4.2 D-H 參數表 52 表7.1 左右眼內部參數與扭曲參數 78 表7.2 左右眼修正參數 78 表7.3 人工與視覺量測位置 83 表7.4 人工與視覺量測位置誤差 84 表7.5 擬合點 85[[note]]學號: 604370170, 學年度: 10