Adaptive Human Localization System and its Application: Activity Recognition in Smart Home

由智慧型電子家庭系統提供服務給家庭內的成員的目的在於增進使用者的舒適程度，而服務的提供必須要適時、適地才不會造成使用者額外的困擾。智慧型電子家庭系統可以透過不同的微型電腦設備，例如嵌入式裝置、資訊家電、及家庭控制網路來提供各式各樣的應用。隱藏在家庭中任意角落的微型電腦設備一方面可以用來紀錄家庭環境的現況，同時也可以針對不同的情況去辦別使用者現在從事的活動。 透過環境資料的收集和彙整，智慧型電子家庭系統可以逐漸了解到家庭成員的狀態；依照這些推論出來的不同狀態，智慧型電子家庭系統將可以做出許多人性化的應用，提供使用者更舒適的環境。 在眾多的環境資料之中，使用者所在的位置，例如:樓層、房間甚至是使用者的精確座標位置，如果可以被正確地紀錄下來，一方面可以提供系統作仔細的使用者喜好分析，另一方面，也可以在最即時的情況下幫助我們了解使用者所從事的活動。現有的使用者追蹤系統通常都會需要在使用者身上佩帶額外的設備(如: RF-ID tags) 或者是精準度不高(如:紅外線)，這樣的追蹤系統在提供服務的同時，也造成了使用者的困擾。 因此，在這篇論文中，我們提出了一套藉由整合壓力感應器和攝影機作為追蹤媒介的室內多使用者追蹤系統。使用者不再需要攜帶多餘的設備來提供系統任何的資訊，我們捕捉環境中壓力和視覺上的變化來進行使用者的定位。我們所採用的追蹤方法也具有及時與精確的兩個特性。最後再搭配上一個基本的使用者活動辨識系統，並且收集環境中的資料，尤其是使用者位置的資訊，來辨識使用者的活動。The rapid advancement in computer technology enables home automation system to provide a variety of convenient and novel services to people. Generally, locating the users' position in home environment is the key issue for context-aware services provision. There are several studies on human localization in all kinds of environments involving various sensor technologies, such as RF-ID tags or ultrasonic sensing. Those approaches require the inhabitants to wear some devices. Such approaches make the inhabitants uncomfortable while the purpose is trying to provide convenient services to the inhabitants, which is somewhat ironic. In addition, most of these works do not consider the possible wrong information stemmed from some sensors. In this thesis, we propose an adaptive human localization system in a Smart Home. Our approach uses sensory floor to perceive the weight of the inhabitants and cameras to perceive appearance of the inhabitants, so there is no need for inhabitants to wear any devices on them. By integrating multiple sensors, the localization system will be more robust to sensor errors. In addition, we apply the kernel particle filter technique to enhance the performance in multi-target tracking. Thus, our system will automatically determine the number of inhabitants in the environment and their corresponding locations. An application of our localization system, activity recognition is also shown in this thesis. By collecting the context information, especially the location information, we would like to recognize the activities of daily living in the smart home.1 Introduction 1 1.1 Motivation . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 1 1.2 Objectives . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 3 1.3 Related Works . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 3 1.4 Thesis Organization . . . . . . . . . . . . . . . . . . . . . . . . . . . . 6 2 Preliminaries 8 2.1 Introduction to Bayesian Filter . . . . . . . . . . . . . . . . . . . . . 8 2.1.1 Kalman Filter . . . . . . . . . . . . . . . . . . . . . . . . . . . 10 2.1.2 Particle Filter . . . . . . . . . . . . . . . . . . . . . . . . . . . 12 2.1.3 Kernel Particle Filter . . . . . . . . . . . . . . . . . . . . . . . 13 2.2 Introduction to Human Activity . . . . . . . . . . . . . . . . . . . . . 15 3 Human Detection and Adaptive Sensor Fusion for Localization 17 3.1 Overview . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 17 3.2 System Architecture . . . . . . . . . . . . . . . . . . . . . . . . . . . 18 3.3 Human Detection . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 19 3.3.1 Hardware and Experiment Setup . . . . . . . . . . . . . . . . 20 3.3.2 Human Detection on Sensory Floor . . . . . . . . . . . . . . . 22 3.3.3 Camera based Human Detection . . . . . . . . . . . . . . . . . 22 3.4 Adaptive Sensor Fusion for Localization . . . . . . . . . . . . . . . . 27 3.4.1 Quality Assessment for Sensor Observation . . . . . . . . . . . 27 3.4.2 Reliability Assessment for Sensor Observation . . . . . . . . . 30 4 Indoor Localization via Particle Filter 34 4.1 Overview . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 34 4.2 Tracking via Particle Filter . . . . . . . . . . . . . . . . . . . . . . . . 35 4.2.1 Initialization . . . . . . . . . . . . . . . . . . . . . . . . . . . . 38 4.2.2 Propagation . . . . . . . . . . . . . . . . . . . . . . . . . . . . 39 4.2.3 Reweight . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 39 4.2.4 Resample . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 40 4.3 Clustering for Multiple Human . . . . . . . . . . . . . . . . . . . . . 41 4.3.1 Kernel Density Estimation . . . . . . . . . . . . . . . . . . . . 42 4.3.2 Mean Shift . . . . . . . . . . . . . . . . . . . . . . . . . . . . 43 4.3.3 Clustering . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 44 5 Its Application: Location based Activity Recognition via Bayesian Network 46 5.1 Overview . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 46 5.2 Activity Model Training . . . . . . . . . . . . . . . . . . . . . . . . . 47 5.2.1 Context Information Processing . . . . . . . . . . . . . . . . . 48 5.2.2 Learning Activity Model via Bayesian Network . . . . . . . . 50 5.3 Activity Inference . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 53 6 Experiments and System Evaluation 57 6.1 Environment Description . . . . . . . . . . . . . . . . . . . . . . . . . 57 6.2 Indoor Localization . . . . . . . . . . . . . . . . . . . . . . . . . . . . 58 6.2.1 Camera Calibration . . . . . . . . . . . . . . . . . . . . . . . . 58 6.2.2 Human Localization . . . . . . . . . . . . . . . . . . . . . . . 60 6.3 Activity Recognition . . . . . . . . . . . . . . . . . . . . . . . . . . . 64 7 Conclusion and Future Work 70 7.1 Conclusion . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 70 7.2 Future Work . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 71 Reference 7