[[alternative]]Behavior analysis via mean shift segmentation and motion estimation

碩士[[abstract]]我們提出了一個新的行為分析的演算法，這個演算法是利用mean-shift顏色分群以及動量估計所結合而成的。Mean-shift是利用來在一段影片中，物件的追蹤以及擷取上。而動量估計可以幫助我們進行物件追蹤及物件的動作分析。當我們擷取出一整段影片的物件之後，會使用細化演算法去取得物件的骨架，並以此骨架為基準去進行物件的行為分析，透過動量估計演算法去針對前後兩張的物件進行分析之後，我們可以得到一個位於兩連續動作中間的動作之骨架模型。之後可以利用此新產生出之骨架模型進行新動作的再生。[[abstract]]We propose a novel motion analysis algorithm by using the mean-shift segmentation and motion estimation technique. Mean shift algorithm is frequently used to extract objects from video according to its efficiency and robustness of non-rigid object tracking. For diminishing the computational complexity in searching process, an efficient block matching algorithm: cross-diamond-hexagonal search algorithm was used. In the motion analysis procedure, the stick figure of object obtained by thinning process is treated as guidance to gather the statistics of motion information. The experimental results show that the proposed method provides precise description of the behavior of object in several video sequences.[[tableofcontents]]第一章 緒論 1 1.1 研究動機與目的 1 1.2 論文組織與架構 4 第二章 基礎理論 5 2.1 國內外相關研究 5 2.2 Color Model 色彩模型 8 2.2.1 RGB color space 8 2.2.2 CMY color space 9 2.2.3 CIELab & CIELUV 10 2.2.4 YUV、YCbCr和YIQ色彩空間 12 2.2.5 HSI、HSV和HSL色彩空間 13 2.3 動作估測 16 2.3.1 相似度的測量 16 2.3.2 四步驟搜尋 17 2.3.3 十字菱形六角形搜尋法 21 2.4 顏色分群 28 2.5 細化處理 36 2.6 侵蝕與擴張 39 2.6.1 侵蝕(Erosion) 39 2.6.2 擴張(Dilation) 39 2.6.3 Closing運算 39 第三章 系統架構 41 3.1 選取物件 43 3.2 物件追蹤 44 3.3 物件擷取 49 3.3.1 物件的顏色 49 3.3.2 物件的動量 51 3.3.3 去除物件雜訊 53 3.4 影片分層與物件資訊收集 54 3.5 細化物件 55 3.5.1 物件正規化 56 3.5.2 細化物件 57 3.6 動作分析 59 3.7 動作產生 63 3.7.1 物件周期化 65 3.7.2 動作植入 66 第四章 系統實作 68 4.1 系統介面 68 4.2 開發平台 71 4.3 系統簡介 76 4.3.1 程式系統架構 76 4.3.2 編輯元件介紹 79 第五章 結論與未來展望 87 5.1 結論 87 5.2 未來展望 88 參考文獻 89 附錄－英文論文 91 圖 一、RGB示意圖 9 圖 二、CMY色彩空間的表示圖 10 圖 三、LUV的色彩空間表示圖 12 圖 四、HSI色彩分佈表示圖 14 圖 五、四步搜尋法 - 步驟一 17 圖 六 、四步搜尋法 - 步驟二與步驟三 18 圖 七、四步搜尋法 - 步驟二與步驟三 18 圖 八、四步搜尋法 – 步驟四 19 圖 九、在遊戲畫面實做4SS動量估測 20 圖 十、針對物件實做4SS動作估測 20 圖 十一、十字菱形六角形搜尋演算法圖例 21 圖 十二、小十字搜尋範圍圖例 22 圖 十三、大十字搜尋範圍圖例 22 圖 十四、半菱形搜尋範圍圖例 23 圖 十五、新增菱形搜尋範圍圖例 23 圖 十六、水平與垂直六角形搜尋圖例 24 圖 十七、Flat 與Thick六角形搜尋圖例 24 圖 十八、小菱形搜尋 25 圖 十九、CDHS簡易流程圖 26 圖 二十、實做CDHS演算法之圖例 27 圖 二十一、針對物件執行CDHS 27 圖 二十二、Mean Shift樣本空間示意圖 30 圖 二十三、LUV色彩空間分布圖 33 圖 二十四、LU二維陣列表示圖 33 圖 二十五、mean shift顏色分群之圖例 35 圖 二十六、細化程序規則 37 圖 二十七、物件細化圖例 38 圖 二十八、系統架構演算法 41 圖 二十九、影像原圖以及標記過的圖例一 43 圖 三十、影像原圖以及標記過的圖例二 43 圖 三十一、物件追蹤演算法 45 圖 三十二、左圖為已經標記的圖，右圖為擴展為矩形的圖 46 圖 三十三、搜尋範圍示意圖 47 圖 三十四、追蹤結果示意圖 48 圖 三十五、針對物件實做顏色分群之圖例 50 圖 三十六、擷取物件範例 50 圖 三十七、物件與背景顏色過於相近之範例 51 圖 三十八、物件正規化後的圖 57 圖 三十九、將物件二值化的結果 57 圖 四十、最左邊為原圖；最右邊為細化結果 58 圖 四十一、以骨架上的點為中心的區塊進行動量估測 60 圖 四十二、八鄰居區塊圖例 61 圖 四十三、針對物件實做動量估測圖例 62 圖 四十四、推算骨架圖例 63 圖 四十五、參照模組圖例 63 圖 四十六、比對錯誤的範例 64 圖 四十七、尋找物件範例 66 圖 四十八、推算出輪廓之圖例 66 圖 四十九、待修補範例 67 圖 五十、修補之後的結果 67 圖 五十三、顯示正在執行物件追蹤及擷取的畫面 69 圖 五十四、使用者設定之物件顏色 69 圖 五十五、顯示正在處理的影片圖像檔名 70 圖 五十六、顯示出物件資訊的視窗 70 圖 五十七、Borland C++ Builder 6.0軟體介面 72 圖 五十八、元件選取區圖示 73 圖 五十九、專案導覽區圖示 73 圖 六十、元件編輯區圖示 74 圖 六十一、系統設計區圖示 75 圖 六十二、程式撰寫區圖示 75 圖 六十三、系統元件示意圖 76 圖 六十四、系統介面 77 圖 六十五、MainMenu元件選取位置圖 81 圖 六十六、MainMenu設計圖 81[[note]]學號: 695410422, 學年度: 9