[[alternative]]A study on input efficiency of communication device for visually impaired people with multiple disabilities using initial consonant to simplify Zhuyin input method

碩士[[abstract]]本文旨在應用聲母簡化注音輸入法改善盲多重障礙者溝通輔具輸入效率之研究，研究中首先藉由影像裝置擷取頭部擺動影像，經由Haar臉部特徵偵測追蹤系統，藉由臉部之鼻子特徵中心位置與移動角度計算頭部擺動方向，並應用聲母簡化注音輸入法結合語音合成編輯系統發聲並同時進行文字輸出，完成與外界溝通之目的。由於聲母簡化注音輸入法常產生一對多組詞的問題，本研究利用詞的最後一個字之完整注音符號，建立一對一的詞庫，解決盲多重障礙者利用擺頭操作溝通輔具不易選詞的問題。 研究中除了測試所完成Haar臉部特徵偵測追蹤系統結合聲母簡化注音輸入法之溝通輔具外，亦比較以往利用Haar臉部特徵偵測追蹤系統結合一般注音輸入法之溝通輔具的輸入效率，比較結果顯示，使用Haar臉部特徵偵測追蹤系統透過聲母簡化注音輸入法比透過一般注音輸入法之輔具，提高53.61%的輸入效率，有效改善盲多重障礙者溝通輔具的輸入效率。 本研究成果不僅可減少盲多重障礙者擺頭次數，有效提升盲多重障礙者溝通輔具的輸入效率，亦可創造盲多重視障者優質化的學習和生活環境。[[abstract]]The objective of this thesis is to improve input efficiency of communication device for visually impaired people with multiple disabilities using initial consonant to simplify ZhuYin input method. At first, the images of head shaking are captured through an image device in the study by the Haar facial feature detection and tracking systems. The moving position of the nose center is computed to identify the directions of head shaking, and then using initial consonant to simplify ZhuYin input method with the voice communication and text output are achieved by the combined text-to-speech editor, and accomplished the communication with the outside world. The input method has a problem that the simplified inputs often generate many corresponding words. This study creates the one-to-one thesaurus using all the phonetic symbols of the last word to solve the problem that the visually impaired people with multiple disabilities can not easily choose the different words by shaking head to operate the communication device. In this study, the newly accomplished communication device combined the Haar facial feature detection and tracking systems with initial consonant to simplify ZhuYin input method had been tested. Besides, the input efficiency of the new communication device was compared with the input efficiency of the communication device that formerly combined the Haar facial feature detection and tracking systems with ordinary phonetic input method. The result showed that the input efficiency of the new communication device increased by 53.61%. The new communication device effectively improves the input efficiency. The results of this study can reduce the shaking head times to effectively enhance the efficiency of communication device for visually impaired people with multiple disabilities, and can also create the quality assured accessibility environment of learning and living.[[tableofcontents]]目錄 中文摘要 I 英文摘要 III 目 錄 V 圖目錄 VII 表目錄 X 第一章 緒論 01 1.1 前言 01 1.2 研究目的與動機 02 1.3 研究方法 02 1.4 文獻回顧與探討 02 1.5 論文架構 13 第二章 基礎理論 14 2.1 設計要點 14 2.2 系統架構 14 2.3 序列碼 14 2.4 HSV色彩空簡轉換 16 2.5 Mean Shift演算法 18 2.6 Camshift演算法 20 2.7 Haar矩形特徵 22 2.7.1 影像積分 25 2.8 Haar演算法 26 2.9 八方向擺動判斷 27 第三章 溝通輔具改善效率之研究 36 3.1 系統軟硬體設備 36 3.2 Camshift人臉偵測追蹤系統之輸入法 37 3.3 Haar臉部特徵偵測追蹤系統之輸入法 41 3.4 聲母簡化注音輸入法 47 3.5 語音合成編輯系統 48 第四章 聲母簡化注音輸入系統與溝通輔具測試與討論 52 4.1 溝通輔具改善之測試 52 4.2 溝通輔具系統相同聲母測試 53 4.3 溝通輔具系統拼音組詞測試 55 4.4 溝通輔具系統聲母簡化注音輸入法測試 61 4.5 溝通輔具系統聲母簡化注音輸入法效率比較測試 64 第五章 結論與未來展望 69 5.1 結論 69 5.2 未來展望 70 參考文獻 72 圖目錄 圖 1-1 系統架構圖 04 圖 1-2 頭控有聲溝通器示意圖 06 圖 1-3 主動式與互動式溝通器示意圖 06 圖 1-4 人臉偵測追蹤系統示意圖 07 圖 1-5 臉部特徵偵測追蹤系統示意圖 07 圖 2-1 溝通輔具系統架構圖 15 圖 2-2 序列碼流程圖 16 圖 2-3 HSV色彩空間圖 17 圖 2-4 Mean Shift演算法流程圖 19 圖 2-5 Camshift演算法流程圖 21 圖 2-6 Camshift正面人臉影像 22 圖 2-7 Haar矩形特徵 23 圖 2-8 演算法之第一特徵與第二特徵 23 圖 2-9 Haar-Like Feature 24 圖 2-10 積分圖像值 25 圖 2-11 矩形像素和 26 圖 2-12 Haar演算法流程圖 28 圖 2-13 八方向擺動鏡射關係示意圖 29 圖 2-14 八方向角度定義示意圖(Camshift) 29 圖 2-15 八方向角度定義示意圖(Haar) 30 圖 2-16 Haar正面人臉影像 31 圖 2-17 方向一擺頭示意圖 31 圖 2-18 方向二擺頭示意圖 32 圖 2-19 方向三擺頭示意圖 32 圖 2-20 方向四擺頭示意圖 33 圖 2-21 方向五擺頭示意圖 33 圖 2-22 方向六擺頭示意圖 34 圖 2-23 方向七擺頭示意圖 34 圖 2-24 方向八擺頭示意圖 35 圖 3-1 系統實際操作圖 36 圖 3-2 Camshift人臉偵測追蹤系統流程圖 38 圖 3-3 受測者1於人臉偵測追蹤系統正面結果圖 39 圖 3-4 受測者2於人臉偵測追蹤系統正面結果圖 39 圖 3-5 受測者3於人臉偵測追蹤系統正面結果圖 40 圖 3-6 受測者4於人臉偵測追蹤系統正面結果圖 40 圖 3-7 受測者5於人臉偵測追蹤系統正面結果圖 41 圖 3-8 Camshift人臉偵測追蹤系統與Haar臉部特徵偵測 追蹤系統測試比較圖 43 圖 3-9 Haar臉部特徵偵測追蹤系統流程圖 44 圖 3-10 受測者1於臉部特徵偵測追蹤系統正面結果圖 45 圖 3-11 受測者2於臉部特徵偵測追蹤系統正面結果圖 45 圖 3-12 受測者3於臉部特徵偵測追蹤系統正面結果圖 46 圖 3-13 受測者4於臉部特徵偵測追蹤系統正面結果圖 46 圖 3-14 受測者5於臉部特徵偵測追蹤系統正面結果圖 47 圖 3-15 語音合成編輯系統圖 51 圖 4-1 拼音組字「亞當」54 圖 4-2 拼音組字「雅典」54 圖 4-3 拼音組字「研究」56 圖 4-4 拼音組字「潛意識」56 圖 4-5 拼音組字「臥虎藏龍」57 圖 4-6 拼音組字「快刀斬亂麻」57 圖 4-7 拼音組字「美利堅合眾國」58 圖 4-8 拼音組字「醉翁之意不在酒」58 圖 4-9 擺頭輸入聲母”ㄉ” 61 圖 4-10 擺頭輸入聲母”ㄐ” 62 圖 4-11 擺頭輸入聲母”ㄉ” 62 圖 4-12 擺頭輸入聲母”ㄒ” 63 圖 4-13 擺頭輸入聲調”一聲”完成拼音組字 63 表目錄 表 1-1 注音符號與摩斯碼對照表 05 表 1-2 同音詞比例表 08 表 1-3 中文記憶快打範例 10 表 1-4 中文詞庫快打範例 11 表 3-1 受測者於Camshift之效率測試表 42 表 3-2 受測者於Haar之效率測試表 49 表 3-3 Camshift與Haar效率比較 50 表 3-4 一般注音輸入法 50 表 3-5 實際操作流程溝通表 51 表 4-1 拼音輸入表 52 表 4-2 相同聲母組詞 53 表 4-3 相同聲母比較「亞當」55 表 4-4 相同聲母比較「雅典」55 表 4-5 聲母簡化注音輸入法擺頭次數比較(1/2)59 表 4-6 聲母簡化注音輸入法擺頭次數比較(2/2)60 表 4-7 實驗結果比較 64 表 4-8 2字詞效率表 65 表 4-9 3字詞效率表 65 表 4-10 4字詞效率表 66 表 4-11 5字詞效率表 66 表 4-12 6字詞效率表 67 表 4-13 7字詞效率表 67 表 4-14 平均提升效率表 68[[note]]學號: 699371315, 學年度: 10