[[alternative]]Application of hand gesture technology on the manipulation of smart mobile devices

碩士[[abstract]]本論文提出一套智慧型行動裝置與手勢辨識結合的系統，此系統透過無線攝影機擷取即時影像資訊，並搭配手勢辨識演算法，讓使用者可手勢控制音響設備。 本論文的模擬情境設置於一般居家環境，在電腦端設計一個GUI 介面，使用者可藉此介面擷取即時影像並執行辨識演算法。其流程乃是在擷取手勢影像後，利用K_means方法進行膚色偵測及萃取得手勢特徵，辨識手勢姿態，然後將辨識後的結果加以編碼。另外，搭配Eclipse軟體撰寫Android智慧型手機音樂播放程式，此播放程式經由TCP/IP接收編碼後的手勢指令，進而實現音響設備的控制。 本文著重在影像演算法上進行改良，使其偵測人體膚色的方法更具強健性，並將演算法實現於智慧型行動裝置之控制，透過使用者的手勢來進行音樂播放控制，實現智慧居家的夢想。[[abstract]]This thesis presents a hand gesture recognition algorithm and integrates it with the smart mobile devices for controlling an audio equipment. Specifically, the resulting system adopts a non-contacting way for hand gesture recognition, which captures the live video image through a wireless camera, recognizes hand gestures via the proposed algorithm, and operates with a friendly interface. As a result this allows the users to perform remote control of audio equipments. The proposed hand gesture recognition algorithm consists of skin color detection and hand gesture recognition, in which the K-means clustering classifier is used. Experiment shows that the proposed skin color detection method is more robust than a well-known statistical method, and the verification rate is increased. In addition, a music player program is developed upon the Android platform under the help of Eclipse software. This makes the remote control of audio equipment by hand gesture come true.[[tableofcontents]]中文摘要............................................-I- 英文摘要...........................................-III- 目錄...............................................-III- 圖目錄.............................................-VI- 表目錄.............................................-IX- 第一章 緒論.........................................1 1.1研究動機與目的...................................1 1.2 相關文獻探討....................................2 1.3 論文架構........................................5 第二章 背景知識.....................................6 2.1 IP CAM網路攝影機簡介............................6 2.1.1網路攝影機之架設...............................8 2.2網路通訊概念.....................................10 2.2.1 TCP/IP........................................11 2.3影像處理介紹.....................................15 2.3.1色彩空間轉換...................................15 2.3.2 斷開與閉合....................................16 2.3.3 連通物件法....................................18 2.4邊緣檢測介紹.....................................21 2.4.1邊緣檢測方法...................................22 2.4.2 Sobel邊緣偵測法...............................23 2.5 Android介紹.....................................24 2.5.1 Android手機平台設計...........................25 第三章 樣本訓練.....................................30 3.1 膚色模型........................................30 第四章 手勢辨識演算實現與應用.......................36 4.1模擬情境與系統架構之簡介.........................36 4.2影像前處理.......................................37 4.2.1 白平衡修正....................................38 4.2.2膚色偵測.......................................40 4.2.3影像特徵強化...................................42 4.3特徵擷取.........................................42 4.3.1八方位輪廓搜尋.................................43 4.4手勢辨識.........................................44 4.5 Android手勢播放器設計...........................46 4.5.1 GUI圖形介面...................................47 4.5.2程式流程設計...................................50 第五章 實驗結果.....................................56 5.1 實驗環境........................................56 5.2 白平衡模擬......................................58 5.3膚色偵測結果.....................................59 5.4播放系統測試.....................................64 第六章 結論與未來研究展望...........................68 6.1結論.............................................68 6.2未來展望.........................................69 參考文獻............................................70 圖目錄 圖2.1 IP CAM架構圖.................................. 7 圖2.2 IP Installer(設備搜尋器) ..................... 8 圖2.3電腦網域設定................................... 9 圖2.4 (a)即時影像; (b)擷取後的檔案格式.............. 10 圖2.5 OSI架構與TCP/IP協定的相關性................... 12 圖2.6 TCP/IP協定資料的傳遞方式...................... 13 圖2.7 三向交握流程圖................................ 14 圖2.8 RGB色彩空間................................... 15 圖2.9膨脹、侵蝕示意圖............................... 17 圖2.10斷開示意圖.................................... 18 圖2.11閉合示意圖.................................... 18 圖2.12連通成分...................................... 19 圖2.13四連通成分座標................................ 20 圖2.14四連通標記矩陣................................ 20 圖2.15八連通成分座標................................ 21 圖2.16八連通標記矩陣................................ 21 圖2.17 (a)兩區域原圖 (b)灰階剖面與一、二階導數...... 23 圖2.18 Soble邊緣檢測................................ 24 圖2.19 Android系統架構.............................. 25 圖2.20 Activity生命週期流程圖....................... 28 圖2.21 Android apk檔生成圖.......................... 29 圖3.1建立膚色模型的流程圖........................... 31 圖3.2測試樣本....................................... 32 圖3.3膚色樣本資料庫................................. 33 圖3.4 膚色模型比較表................................ 34 圖4.1情境模擬示意圖................................. 36 圖4.2系統架構圖..................................... 37 圖4.3系統流程圖..................................... 38 圖4.4 GWA白平衡修正................................ 39 圖4.5 K-means膚色偵測流程圖......................... 40 圖4.6 K-means膚色分類拆解圖......................... 41 圖4.7 MATLAB 前處理GUI介面........................ 42 圖4.8八方位矩陣..................................... 43 圖4.9邊緣方位紀錄點................................. 44 圖4.10邊緣偵測法範例圖.............................. 43 圖4.11手勢辨識流程圖................................ 44 圖4.12手勢重心與及極座標分佈圖...................... 45 圖4.13極座標轉換及閥值設定的示意圖.................. 46 圖4.14手勢播放器介面................................ 47 圖4.15播放介面流程圖................................ 48 圖4.16歌曲選單介面.................................. 49 圖4.17歌曲選單流程圖................................ 49 圖4.18手勢播放器架構圖.............................. 51 圖4.19 Android的模擬器.............................. 52 圖4.20 TCP/IP連結示意圖............................. 52 圖4.21 手勢編碼示意圖............................... 53 圖4.22 歌曲循環示意圖............................... 54 圖4.23 歌曲排列及順序示意圖......................... 55 圖5.1 實驗場景與設備................................ 56 圖5.2 手勢操作圖.................................... 57 圖5.3 測試圖示(白平衡前) ........................... 58 圖5.4 測試圖示(白平衡後) ........................... 59 圖5.5深黃膚色偵測結果比較圖......................... 60 圖5.6中黃膚色偵測結果比較圖......................... 61 圖5.7淺黃膚色偵測結果比較圖......................... 62 圖5.8 綜合比較圖.................................... 63 圖5.9 手機Icon圖示.................................. 64 圖5.10音樂播放介面.................................. 65 圖5.11歌曲選單與IP位置.............................. 65 圖5.12 MATLAB 手勢辨識GUI介面....................... 66 圖5.13 (a)~(f)手勢指令圖示.......................... 67 表目錄 表5.1 膚色還原率.................................... 64[[note]]學號: 700440117, 學年度: 10