Detecting Group Interaction and Conversation of Smartphone Users Using Multimodal Data

학위논문 (석사)-- 서울대학교 대학원 : 산업공학과, 2016. 8. 박종헌.스마트폰이 널리 보급되고 현대인들의 생활 속에 깊이 자리잡으면서, 스마트폰에서 수집된 다종 데이터를 바탕으로 사용자 개인의 행동을 인식하고자 하는 연구가 활발히 진행되고 있다. 그러나, 타인과의 상호작용 행동 인식에 대한 연구는 아직까지 상대적으로 미진하였다. 기존 상호작용 행동 인식 연구에서는 오디오, 블루투스, Wi-Fi 등의 데이터를 사용하였으나, 이들은 사용자 사생활 침해 가능성이 높으며 단시간 내에 충분한 양의 데이터를 수집하기 어렵다는 한계가 있다. 반면 가속도, 자기장, 자이로스코프 등의 물리 센서의 경우 사생활 침해 가능성이 낮으며 단시간 내에 충분한 양의 데이터를 수집할 수 있다. 본 연구에서는 이러한 점에 주목하여, 스마트폰 상의 다종 물리 센서 데이터만을 활용, 딥 러닝 모델에 기반한 사용자의 동행 상태 인식 방법론을 제안한다. 사용자의 동행 여부 및 대화 여부를 분류하는 동행 상태 분류 모델은, 컨볼루션 신경망과 장단기 기억 순환 신경망이 혼합된 구조를 지닌다. 먼저 스마트폰의 다종 물리 센서에서 수집한 데이터에 존재하는 타임 스태프의 차이를 상쇄하고, 정규화를 수행하여 시간에 따른 시퀀스 데이터 형태로 변환함으로써 동행 상태 분류 모델의 입력 데이터를 생성한다. 이는 컨볼루션 신경망에 입력되며, 데이터의 시간적 국부 의존성이 반영된 요인 지도를 출력한다. 장단기 기억 순환 신경망은 요인 지도를 입력받아 시간에 따른 순차적 연관 관계를 학습하며, 동행 상태 분류를 위한 요인을 추출하고 소프트맥스 분류기에서 이에 기반한 최종적인 분류를 수행한다. 자체 제작한 스마트폰 애플리케이션을 배포하여 실험 데이터를 수집하였으며, 이를 활용하여 제안한 방법론을 평가하였다. 최적의 파라미터를 설정하여 동행 상태 분류 모델을 학습하고 평가한 결과, 동행 여부와 대화 여부를 각각 98.74%, 98.83%의 높은 정확도로 분류하였다. 또한, 동행 상태 분류 모델의 구조를 변형하고 파라미터 값을 조절하면서 분류 성능의 변화를 추적하여, 모델 내 각 구성 요소가 성능에 미치는 영향을 분석하였다.1. 서론 1 1.1. 연구 배경 1 1.2. 연구 목적 5 1.3. 연구 내용 6 2. 배경 이론 및 관련 연구 8 2.1. 배경 이론 8 2.1.1. 컨볼루션 신경망 8 2.1.2. 장단기 기억 순환 신경망 11 2.2. 관련 연구 16 3. 제안 기법 22 3.1. 데이터 전처리 23 3.1.1. 물리 센서 간 데이터 수집 타임 스탬프의 차이 상쇄 23 3.1.2. 스마트폰 기기 간 센서 데이터의 민감도 및 오프셋 차이 상쇄 26 3.1.3. 결측값 제거 및 시퀀스 데이터 변환 27 3.2. 컨볼루션 신경망 29 3.3. 장단기 기억 순환 신경망 및 최종 분류기 31 3.4. 학습 알고리즘 33 4. 실험 및 결과 36 4.1. 실험 데이터 36 4.1.1. 실험용 스마트폰 애플리케이션 36 4.1.2. 데이터 수집 실험 37 4.1.3. 데이터 분할 38 4.2. 실험 환경 및 평가 지표 39 4.2.1. 실험 환경 39 4.2.2. 평가 지표 39 4.3. 실험 결과 42 4.3.1. 최종 제안 모델과 베이스라인 모델 간 성능 비교 42 4.3.2. 최종 제안 모델 학습에 사용한 물리 센서 데이터 종류 변화 45 4.3.3. 모델 파라미터 최적화 47 4.3.4. 학습 곡선 53 4.3.5. Leave-one-person-out 실험 54 5. 결론 57 5.1. 요약 및 연구 의의 57 5.2. 향후 발전 방향 59 참고 문헌 61 Abstract 69Maste