[[alternative]]A study on tennis motion classification model construction based on Kinect

碩士[[abstract]]網球運動是一種極需要身體記憶的運動，如無教練在旁指導且持之以恆的練習，則球員很容易讓身體定型在錯誤的揮拍姿勢，而身體習慣錯誤的揮拍姿勢後，將增加姿勢調整的困難度。換言之，初學者聘請專屬教練進行教學指導將是最佳的選擇，但教練的時間是有限的且所費不貲。因此，本研究目的在開發網球姿勢分類系統，用以提供初學者一種較經濟且可盡量達到如同教練指導的學習模式。故本論文提出了兩個模型來達成此目標，分別為：CAST為基礎的動作分類模型和ANN為基礎的動作分類模型。 在資料收集部分，本論文採用Kinect體感器與MPU6050感測器收集正反抽球、切球與截擊共六個動作的軌跡資料。Kinect體感器用於擷取球員的手腕、手肘與肩膀之揮拍動作軌跡序列，其中，每個位置在特定時間點是透過三維的空間座標(x, y, z)表示。此外，在揮拍過程中，球拍拍面正確與否是擊球質量的重要因素之一，因此，本論文將MPU6050感測器安裝在球拍上，透過三軸加速器取得球拍拍面的三軸的加速度數值用以辨識球拍方向。故每一揮拍動作為一個十二維度的時間序列資料。 第一個方法在模型訓練階段，它利用Cluster Affinity Search Technique (CAST)分群技術針對所收集的資料進行分群。首先，因每一動作的序列長度不盡相同，它透過Dynamic Time Warping (DTW)產生動作之間的距離矩陣；接著，將該矩陣轉換為相似度矩陣；最後，透過CAST演算法獲得分群結果。在測試階段，當系統取得球員的揮拍動作軌跡序列後，將與分群結果比對辨識揮拍動作類型並提供使用者揮拍過程的前、中與後段動作修改建議，包含：身體姿勢與拍面修改建議。 第二個方法則利用類神經網路(Artificial Neural Network)進行分類模型的建置。在使用神經網路之前，在此，揮拍序列的每一維度將產生四個屬性，分別為：序列的最大、最小、平均值與變異數，故每一揮拍動作將產生四十八個屬性與一動作標籤屬性。接著，方法二即可透過類神經網路以轉換後的四十九維動作資料集建立分類模型。 最後，在實驗部分針對真實資料進行模型效能的驗證。此資料包含八個球員共六百六十筆揮拍動作。結果顯示，第一與第二個方法的揮拍動作辨識上，最佳準確率分別可以達到100%與96.21%。[[abstract]]Tennis is a sport that requires body memory. To learn correct and powerful motions, players always need coaches and persevere with practices. Otherwise, they will easy to make themselves to have wrong body memory for motions. Once body memory for motions is wrong and fixed, it will increase the difficulty for motion adjustment. In other words, to hire a dedicated coach to teach how to make correct motions, for beginners, it is the best choice. However, the coach''s time is not always available and it is expensive in general. Therefore, the purpose of this thesis is to develop a tennis motion classification system which can be used to provide beginners a more economical way to learn tennis and to achieve as similar as the coach to guide the training. To reach the goals, this thesis proposes two models: CAST-based and ANN-based motion classification models. In data collection, this thesis utilizes the Kinect and the sensor MPU6050 to collect trajectory series of six motions, including forehand drive, forehand slice, forehand volley, backhand drive, backhand slice and backhand volley. The Kinect is used to capture players'' motion trajectory series. A series is composed of three positions that are wrist, elbow and shoulder, where each position is represented by a three-dimensional spatial coordinates (x, y, z) at a particular time point. In addition, tennis racket face is in correct or wrong directions is one important factor to make a high quality swing. To capture data from tennis racket face, the sensor MPU6050 is setup on the racket, the three-axis acceleration values are collected using the three-axis accelerator to identify the racket face direction. As a result, a motion series is a twelve-dimensional motion trajectory series data. In first method, the cluster affinity search technique (CAST) is utilized to divide the collected series data into groups in training phase. Firstly, the dynamic time warping (DTW) is used to generate a distance matrix because length of motion series may be different. Then, a similarity matrix is derived according to the distance matrix. Finally, clustering results can be obtained with the similarity matrix by the CAST. In testing phase, when receiving a motion trajectory series, it will compare with the clustering results to identify motion type, and three-stage improvement suggestions, start, during and end phases of a motion, will provide to user. The suggestions include body and tennis racket face parts. The second method uses the artificial neural network (ANN) to build the classification model. Before using ANN, continue data, the motion trajectory series dataset, should be transformed to discrete attributes. Each dimension of a motion series produces four attributes that are maximum value, minimum value, mean and variance. It means a motion data will produce forty-eight attributes with a motion tag attribute. Then, the forty-nine attributes are utilized to build classification model using the ANN. At last, experiments were made on a real dataset to verify the effectiveness of the models. The dataset is collected from nine players and has totally 660 motion trajectory series. The results show that the best accuracies of the first and second approaches are 100% and 96.21%.[[tableofcontents]]目錄 第 1 章 緒論 1 1.1 研究動機與目的 1 1.2 研究貢獻 2 1.3 論文引導 3 第 2 章 背景知識介紹與相關研究 4 2.1 動作分析相關研究 4 2.2 Dynamic Time Warping 6 2.3 分群技術 8 2.4 人工神經網路( Artificial Neural Network ) 11 第 3 章 設備介紹與環境建置 12 3.1 Kinect 介紹 12 3.1.1 Kinect運作原理 13 3.2 MPU6050介紹 14 3.3 環境布置 17 第 4 章 資料收集 18 4.1 資訊同步化 18 4.2 欲擷取資料與流程說明 20 4.2.1 齊次座標系統 22 4.3 動作偵測與說明 24 4.3.1 資料正規化 24 4.3.2 正反手拍辨識 25 4.3.3 正反手抽、截、切球起始點與結束點 26 第 5 章 動作分類模型建置 30 5.1 方法一：CAST為基礎的動作分類模型建置 30 5.1.1 系統架構圖 30 5.1.2 模型建置 32 5.1.3 範例 33 5.2 方法二：ANN為基礎的動作分類模型建置 37 5.2.1 系統架構圖 37 5.2.2 資料處理 38 5.2.3 類神經網路架構 39 第 6 章 動作分析與修改建議 40 6.1 兩揮拍動作的軌跡分析與建議 40 6.2 兩揮拍動作的拍面分析與建議 42 第 7 章 實驗結果 45 7.1 實驗資料描述 45 7.2 方法一實驗結果 47 7.3 方法二實驗結果 54 7.4 使用者實際使用結果 55 第 8 章 結論與未來工作 58 參考文獻 59 附錄一其餘揮拍人員揮拍資料 61 附錄二英文論文 68 圖目錄 圖 1、DTW結果（實線為序列、虛線為相應點） 6 圖 2、DTW最短路徑圖（黑點） 7 圖 3、DTW局部關系 7 圖 4、K-means分群示意圖 8 圖 5、人工神經網路基本架構 11 圖 6、Kinect V1 和 Kinect V2比較 12 圖 7、人體骨架差別 13 圖 8、V1 和V2 骨架點 14 圖 9、MPU6050晶片和旋轉方向 15 圖 10、晶片安置在球拍上 15 圖 11、球拍旋轉方向對應之數值 16 圖 12、Nano、MPU6050和HC-05 16 圖 13、實驗環境圖 17 圖 14、同步化示意圖 19 圖 15、資料處理流程 19 圖 16、根據表3可表示出揮拍序列軌跡（手腕Y軸） 21 圖 17、手腕、手肘、肩膀關係 22 圖 18、座標轉換平移示意圖 23 圖 19、脖子關節點到頭關節點當作距離1 24 圖 20、身體中心點和右手正規化示意圖 25 圖 21、空間座標方向圖 26 圖 22、正反手姿勢判定 26 圖 23、收集資料架構圖 31 圖 24、分群架構圖（假設有六位球員資料） 31 圖 25、使用者使用架構圖 32 圖 26、九組揮拍序列資料 33 圖 27、CAST分群結果 37 圖 28、ANN系統架構 38 圖 29、轉換屬性 39 圖 30、類神經網路架構 39 圖 31、透過餘弦定理得出手肘角度 40 圖 32、手肘臨界值 41 圖 33、判定哪軸承受重力（上為標準資料、下為使用者） 43 圖 34、揮拍實際資料 44 圖 35、球拍方向示意圖 44 圖 36、使用者1揮拍種類y軸軌跡圖 46 圖 37、正手反手Y與X軸關係圖 47 圖 38、正手抽球分群之結果 48 圖 39、正手截擊分群結果 49 圖 40、正手切球分群結果 50 圖 41、反手抽球分群結果 51 圖 42、反手截擊分群結果 52 圖 43、反手切球分群結果 53 圖 44、交叉驗證過程 55 圖 45、正手反手判斷實際結果 56 圖 46、正手擊球實例與建議 57 圖 47、反手截擊實例與建議 57 圖 48、揮拍人員2資料 61 圖 49、揮拍人員3資料 62 圖 50、揮拍人員4資料 63 圖 51、揮拍人員5資料 64 圖 52、揮拍人員6資料 65 圖 53、揮拍人員7資料 66 圖 54、揮拍人員8資料 67 表目錄 表 1、CAST pseudo code 10 表 2、某一時間點揮拍資料 20 表 3、某次揮拍時間序列資料 21 表 4、各個揮拍起始與結束條件說明 27 表 5、距離矩陣 34 表 6、相似度矩陣 34 表 7、d1對應各點的距離 35 表 8、群集對應剩餘各點之加總 35 表 9、從穩定集群中刪除不合格的項目 36 表 10、分群結果 36 表 11、最短路徑與相對應點 41 表 12、（13, 14）之角度 42 表 13、某次揮拍中段判斷角度範例（標準資料角度, 使用者角度） 42 表 14、模型辨識率 48 表 15、各優化函數在各迭代運算與標準差 54[[note]]學號: 604410638, 學年度: 10