Localization in Low Luminance, Slippery Indoor Environment Using Afocal Optical Flow Sensor and Image Processing

학위논문 (박사)-- 서울대학교 대학원 공과대학 전기·정보공학부, 2017. 8. 조동일.실내 서비스로봇의 위치 추정은 자율 주행을 위한 필수 요건이다. 특히 카메라로 위치를 추정하기 어려운 실내 저조도 환경에서 미끄러짐이 발생할 경우에는 위치 추정의 정확도가 낮아진다. 미끄러짐은 주로 카펫이나 문턱 등을 주행할 때 발생하며, 휠 엔코더 기반의 주행기록으로는 주행 거리의 정확한 인식에 한계가 있다. 본 논문에서는 카메라 기반 동시적 위치추정 및 지도작성 기술(simultaneous localization and mappingSLAM)이 동작하기 어려운 저조도, 미끄러운 환경에서 저가의 모션센서와 무한초점 광학흐름센서(afocal optical flow sensorAOFS) 및 VGA급 전방 단안카메라를 융합하여 강인하게 위치를 추정하는 방법을 제안했다. 로봇의 위치 추정은 주행거리 순간 변화량과 방위각 순간 변화량을 누적 융합하여 산출했으며, 미끄러운 환경에서도 좀 더 정확한 주행거리 추정을 위해 휠 엔코더와 AOFS로부터 획득한 이동 변위 정보를 융합했고, 방위각 추정을 위해 각속도 센서와 전방 영상으로부터 파악된 실내 공간정보를 활용했다. 광학흐름센서는 바퀴 미끄러짐에 강인하게 이동 변위를 추정 하지만, 카펫처럼 평평하지 않은 표면을 주행하는 이동 로봇에 광학흐름센서를 장착할 경우, 주행 중 발생하는 광학흐름센서와 바닥 간의 높이 변화가 광학흐름센서를 이용한 이동거리 추정 오차의 주요인으로 작용한다. 본 논문에서는 광학흐름센서에 무한초점계 원리를 적용하여 이 오차 요인을 완화하는 방안을 제시하였다. 로봇 문형 시스템(robotic gantry system)을 이용하여 카펫 및 세가지 종류의 바닥재질에서 광학흐름센서의 높이를 30 mm 에서 50 mm 로 변화시키며 80 cm 거리를 이동하는 실험을 10번씩 반복한 결과, 본 논문에서 제안하는 AOFS 모듈은 1 mm 높이 변화 당 0.1% 의 계통오차(systematic error)를 발생시켰으나, 기존의 고정초점방식의 광학흐름센서는 14.7% 의 계통오차를 나타냈다. 실내 이동용 서비스 로봇에 AOFS를 장착하여 카펫 위에서 1 m 를 주행한 결과 평균 거리 추정 오차는 0.02% 이고, 분산은 17.6% 인 반면, 고정초점 광학흐름센서를 로봇에 장착하여 같은 실험을 했을 때에는 4.09% 의 평균 오차 및 25.7% 의 분산을 나타냈다. 주위가 너무 어두워서 영상을 위치 보정에 사용하기 어려운 경우, 즉, 저조도 영상을 밝게 개선했으나 SLAM에 활용할 강인한 특징점 혹은 특징선을 추출하기 어려운 경우에도 로봇 주행 각도 보정에 저조도 이미지를 활용하는 방안을 제시했다. 저조도 영상에 히스토그램 평활화(histogram equalization) 알고리즘을 적용하면 영상이 밝게 보정 되면서 동시에 잡음도 증가하게 되는데, 영상 잡음을 없애는 동시에 이미지 경계를 뚜렷하게 하는 롤링 가이던스 필터(rolling guidance filterRGF)를 적용하여 이미지를 개선하고, 이 이미지에서 실내 공간을 구성하는 직교 직선 성분을 추출 후 소실점(vanishing pointVP)을 추정하고 소실점을 기준으로 한 로봇 상대 방위각을 획득하여 각도 보정에 활용했다. 제안하는 방법을 로봇에 적용하여 0.06 ~ 0.21 lx 의 저조도 실내 공간(77 sqm)에 카펫을 설치하고 주행했을 경우, 로봇의 복귀 위치 오차가 기존 401 cm 에서 21 cm로 줄어듦을 확인할 수 있었다.제 1 장 서 론 1 1.1 연구의 배경 1 1.2 선행 연구 조사 6 1.2.1 실내 이동형 서비스 로봇의 미끄러짐 감지 기술 6 1.2.2 저조도 영상 개선 기술 8 1.3 기여도 12 1.4 논문의 구성 14 제 2 장 무한초점 광학흐름센서(AOFS) 모듈 16 2.1 무한초점 시스템(afocal system) 16 2.2 바늘구멍 효과 18 2.3 무한초점 광학흐름센서(AOFS) 모듈 프로토타입 20 2.4 무한초점 광학흐름센서(AOFS) 모듈 실험 계획 24 2.5 무한초점 광학흐름센서(AOFS) 모듈 실험 결과 29 제 3 장 저조도영상의 방위각보정 활용방법 36 3.1 저조도 영상 개선 방법 36 3.2 한 장의 영상으로 실내 공간 파악 방법 38 3.3 소실점 랜드마크를 이용한 로봇 각도 추정 41 3.4 최종 주행기록 알고리즘 46 3.5 저조도영상의 방위각 보정 실험 계획 48 3.6 저조도영상의 방위각 보정 실험 결과 50 제 4 장 저조도 환경 위치인식 실험 결과 54 4.1 실험 환경 54 4.2 시뮬레이션 실험 결과 59 4.3 임베디드 실험 결과 61 제 5 장 결론 62Docto