[[alternative]]An application of real time hand gesture recognition system

碩士[[abstract]]液晶電視已經逐漸普及化，為了因應使用於各個場所的電視需求與操作方式，將使用手勢辨識系統取代遙控器和按鍵式操作的基本功能。 使用方法主要為背景相減法、閉合運算、CmaShif演算法和細線化演算法來辨識手勢，再判斷出各個手勢代表的意義,進而控制電視機的基本操作功能。 因為已經有部分業者推出了適用於各個場合的電視，像是畫面旋轉的電視，可以倒掛在廚房的櫥櫃下，讓家庭主婦可以於烹飪同時觀看美食介紹或料理頻道，但是有可能手會因為油漬和水漬操作電視或遙控器時會造成損壞，因此讓我有了利用手勢辨識系統取代遙控器和按鍵式keypad的構想。 手勢辨識系統和液晶電視的結合可以讓電視於各種場合下操作，可增加其便利性和娛樂性。[[abstract]]LCD-TV is gradually popular to us. For matching the needs of various operations of LCD-TV in different places, we will replace the remote controller and key pad with the gesture-recognition system. We use Background Subtraction, Closing Methods, Algorithm of CamShift and Algorithm of Thinning to judge the meaning of every gesture to control the basic operations of LCD TV. Some TV vendors provide new LCD TV such as image-flip one that can be hung on the cupboard in the kitchen for housewife''s watching cooking channel when cooking.However, it may possibly damage the remote controller or key pad because of water or greasiness on hand. That is why we design the Gesture-recognition system. After the integration of gesture-recognition system and LCD TV, the operations will be more convenient, entertaining in every place.[[tableofcontents]]頁目錄 中文摘要...........................................Ⅰ 英文摘要...........................................Ⅱ 頁目錄.............................................Ⅲ 圖目錄.............................................VI 表目錄.............................................IX 第一章 緒論........................................1 1.1 前言...........................................1 1.2 研究動機與目標 .................................2 1.3 流程簡介與研究方向.............................3 第二章 系統與環境設備簡介..........................5 2.1 環境介紹.......................................5 2.2 硬體設備介紹...................................5 2.3 軟體開發環境...................................7 2.4 人機介面介紹...................................7 第三章 基礎理論與知識背景..........................8 3.1 RGB & HSV色彩空間..............................8 3.1.1 RGB色彩空間................................8 3.1.2 HSV色彩空間................................9 3.2 影像分離.......................................11 3.2.1 背景相減法(Background subtraction).........11 3.2.2 時間差異法(Temporal differencing)..........11 3.2.3 光流偵測法(Optical flow)...................12 3.3 形態學(Morphology).............................13 3.3.1 像素近鄰(Pixel’s neighbor)................14 3.3.2 擴張(Dilation).............................15 3.3.3 侵蝕(Erosion)..............................16 3.3.4 斷開(Opening)..............................17 3.3.5 閉合(Closing)..............................17 3.3.6 二值化(Binary Threshold)...................19 3.3.7 細線化(Thinning)...........................20 第四章 手勢辨識之研究方法..........................22 4.1 系統簡介.......................................22 4.2 影像擷取.......................................23 4.3 背景分離.......................................23 4.4 影像二值化.....................................24 4.5 雜訊去除.......................................25 4.6 RGB to HSV色彩空間轉換.........................27 4.7 CAMSHIFT演算法.................................29 4.7.1 Back projection計算........................30 4.7.2 Mean Shift演算法...........................31 4.7.3 Continuously Adaptive Mean Shift演算法.....34 4.8 細線化演算法...................................37 4.9 手勢分析.......................................41 4.10 指令碼輸出控制................................42 4.11 實驗結果......................................46 第五章 結論與未來展望..............................57 5.1 結論...........................................57 5.2 未來展望.......................................58 參考文獻...........................................59 圖目錄 圖1.1完整平台架構流程圖............................4 圖3.1 RGB Color Space..............................9 圖3.2 HSV Color Space..............................10 圖3.3 3X3遮罩示意圖................................13 圖3.4像素四近鄰....................................14 圖3.5像素八近鄰....................................14 圖3.6四近鄰和八近鄰擴張表示圖......................15 圖3.7四近鄰和八近鄰擴張範例........................15 圖3.8四近鄰和八近鄰侵蝕表示圖......................16 圖3.9四近鄰和八近鄰侵蝕範例........................16 圖3.10閉合和斷開運算實際範例圖.....................18 圖3.11二值化直方圖之示意圖.........................19 圖3.12手勢二值影像細線化實際範圖...................21 圖3.13手勢二值影像細線化前後合成圖.................21 圖4.1手勢辨識系統控制LCD-TV流程圖..................22 圖4.2影像擷取流程圖................................23 圖4.3背景相減示意圖................................24 圖4.4影像二值化示意圖..............................25 圖4.5八近鄰之3X3遮罩...............................26 圖4.6經過閉合運算後之二值影像......................27 圖4.7 HSV色彩空間..................................28 圖4.8色彩機率分佈直方圖............................30 圖4.9 Mean Shift演算流程表示圖.....................33 圖4.10 Cam Shift演算法流程圖.......................36 圖4.11 Cam Shift演算法膚色偵測追蹤.................37 圖4.12二值影像之ROI區域............................37 圖4.13細線化之八近鄰3X3遮罩範例....................39 圖4.14細線化之手勢二值影像.........................40 圖4.15細線化+ROI之手勢二值影像合成圖...............40 圖4.16經過OFFSET之後的新ROI示意圖..................41 圖4.17環形ROI區域表示圖............................41 圖4.18尋找指尖端點示意圖...........................42 圖4.19連續手勢Frame輸入示意圖......................43 圖4.20 RS-232轉UART傳輸介電路&治具圖...............44 圖4.21 RS-232傳輸介面視窗..........................45 圖4.22遠距離手勢辨識結果圖.........................47 圖4.23近距離手勢辨識結果圖.........................48 圖4.24穿著長袖衣服之手勢辨識結果圖.................49 圖4.25模擬戴大型戒指手勢辨識結果圖.................50 圖4.26模擬戴手錶手勢辨識結果圖.....................51 圖4.27右手手勢辨識結果圖...........................52 圖4.28非制定之手勢辨識結果圖.......................53 圖4.29 RS-232轉UART傳送至LCD-TV控制PORT示意圖(1)...55 圖4.30 RS-232轉UART傳送至LCD-TV控制PORT示意圖(2)...55 圖4.31手勢辨識系統結合LCD-TV實際控制圖.............56 表目錄 表2.1 WEICHU TX-1320 webcam產品規格................6 表4.1手勢指令碼和功能對應圖........................43[[note]]學號: 796440351, 學年度: 9