A New Keyboard Typing System with Finger Gesture Recognition

학위논문 (박사)-- 서울대학교 대학원 : 공과대학 전기·컴퓨터공학부, 2018. 2. 이혁재.본 논문에서는 하나의 카메라로 별도의 센서나 장갑을 사용하지 않고 손동작을 인식하여 문자를 입력하는데 사용되는 가상 키보드를 제안한다. 본 연구에서 제안한 click gesture는 쉽고 직관적인 동작을 사용하여 가상 키보드의 문자를 입력 하도록 설계하였다. 또한 스마트폰이나 착용형 디스플레이 장치(Head mounted display)에 적합한 multi-tab 기반의 키보드에서 효율적으로 입력하기 위해 간단한 동작을 추가한 multi-layer click gesture 를 개발 하여 보다 빠른 문자 입력이 가능하다. 손동작을 이용한 click gesture에 적합한 가상 키보드를 개발하였으며 3x4, 4x4 및 5x4 배열의 키보드와 함께 다양한 사이즈의 키보드를 선택하여 사용할 수 있게 만들었다. 입력시간 예측 simulation을 통하여 개발한 키보드 별로 최적화된 layout을 구하여 입력 시간을 단축시켰다. 마지막으로 양손을 이용하여 입력할 수 있는 양손 click gesture를 개발하여 자연스럽고 빠른 입력이 가능하다. 또한 양손용 키보드를 개발 및 최적화된 layout을 적용시켜 입력 속도를 높였다. Simulation 결과 제안된 양손용 키보드 중 (좌 4x4, 우 5x4) 키보드는 ABC 키보드 layout의 입력 시간과 비교하였을 때 평균 128.69%의 성능 향상을 제공한다.제 1 장 서 론 1 1.1 연구 배경 1 1.2 연구 내용 6 1.3 논문 구성 8 제 2 장 이전 연구 9 2.1 증강현실 9 2.2 손 추적 및 손동작 인식 12 2.3 가상 키보드 15 제 3 장 손동작 인식 기반 가상 키보드 입력 24 3.1 개요 24 3.2 다양한 색상 공간 모형 28 3.2.1 RGB 색상 공간 모형 28 3.2.2 CMY 색상 공간 모형 30 3.2.3 HSV 색상 공간 모형 31 3.2.4 YUV 색상 공간 모형 33 3.2.5 RGB to YCbCr 색상 공간 변환 35 3.3 Hand area segmentation 36 3.4 Morphology를 이용한 노이즈 제거 40 3.1.1 확장(Dilation) 41 3.1.2 침식(Erosion) 42 3.1.3 오프닝(Opening) 42 3.5 Hand and finger search 43 3.6 Finger detection 46 3.7 Click gesture recognition 48 제 4 장 가상 키보드 문자 배열 디자인 51 4.1 가상 키보드 디자인 51 4.2 가상 키보드 배열 최적화 53 4.2.1 Fitts Law 모델 53 4.2.2 Fitts Law 모델을 이용한 이동 시간 예측 56 4.2.3 Formulation of the objective function 58 4.2.4 A heuristic for keyboard optimization 59 제 5 장 다양한 손동작 기반의 속도 향상 63 5.1 다양한 손동작 필요성 63 5.2 Multi-layer gesture 64 5.3 Grab gesture의 기능 69 제 6 장 다양한 키보드 디자인 71 6.1 다양한 키보드 디자인의 필요성 71 6.2 4x4 키보드 디자인 72 6.3 4x5 키보드 디자인 74 6.4 입력 시간 예측 simulation 결과 76 제 7 장 양손 키보드 디자인 79 7.1 양손 키보드 디자인의 필요성 79 7.2 양손 인식 click gesture 80 7.3 양손 키보드 디자인 및 성능분석 82 7.4 양손 키보드 실험 결과 88 제 8 장 결론 91 참고문헌 93Docto