EmoInside: Emotion Classification from Spatial-Temporal Variations of Skin Color in Face

本論文提出了一利用臉部膚色之時空變異特性的情緒分類方式。過去使用生理訊號分類情緒的方法往往會受到訊號取得不易的限制，或者是用以取得訊號的裝置昂貴，從而使此無法實用。 我們在本論文中利用了遠距生理訊號量測的原理，透過一空間-時間濾波的方式，將臉部之生理訊號，從由一般攝影機所拍攝的影片中擷取出來。並用以分類情緒。以此方式擷取的訊號，在實驗中的表現，與由儀器量測的訊號效能相彷甚至更佳，證明了以此種訊號分類情緒方法的可行性。In this thesis, we proposed a framework for classifying emotions by utilizing the face skin color variations. Previous approaches of classifying emotions with philological signal are limited by the difficulty of acquiring such signals in practice. The proposed method use a spatial-temporal filter to extract the face skin color variation signal in a video which is recorded by a consumer level camera and classify emotions with the extracted signal. The proposed approach is evaluated on a public database MAHNOB-HCI-Tagging and compared with the result provided by the database provider. The results showed the feasibility of the proposed approach, which implies the possibility of emotion classification by remotely estimated physiological signals in face.摘要 i Abstract ii 1 緒論 1 2 文獻回顧 3 2.1 非接觸式生理訊號量測 3 2.2 熱感影像情緒分類 3 3 影片中的臉部膚色時空特性變化資訊 4 3.1 前處理 5 3.1.1 臉部基準點偵測 5 3.1.2 臉部對齊 5 3.2 空間-時間域濾波 6 3.2.1 空間濾波 6 3.2.2 標準化 6 3.2.3 時域濾波 7 3.3 臉部膚色時空變化訊號表示方式 7 3.3.1 臉部膚色變化能量圖 7 3.3.2 特徵提取 8 4 實驗結果與討論 9 4.1 實驗設定 9 4.1.1 情緒維度 9 4.1.2 MAHNOB-HCI-Tagging 資料庫 10 4.1.3 分類演算法 11 4.1.4 交叉驗證方式 11 4.2 實驗結果 12 4.2.1 臉部遮罩 14 4.2.2 色彩空間 15 4.2.3 系統限制 16 5 總結 17 參考文獻 1