Development of Machine Learning Based Binarization Technique of Hand-drawn Floor Plans for Automatic Extraction of Indoor Spatial Information

학위논문(석사) -- 서울대학교대학원 : 공과대학 건설환경공학부, 2022. 8. 유기윤.최근 인공지능, 사물인터넷 등의 발전과 함께 사용자의 위치를 파악하여 실시간 정보를 제공하는 실내 위치기반 서비스에 대한 사회적 관심도가 높다. 이러한 실내 위치기반 서비스의 활성화를 위해서는 실내 공간의 모습을 표현하는 실내 구조 형상화 및 모델링이 필수적이다. 이에 따라 레이저 스캐너, 건축도면 이미지, CAD플랜 등 다양한 원천 데이터로부터 실내 공간을 재현하는 연구들이 진행되어 왔다. 특히 실내 공간정보를 자동 추출 기술은 수동 모델링 대비 경제적으로 매우 효율적이다. 이에 2차원 건축도면 이미지 데이터로부터 벽, 창문, 계단과 같은 실내 객체를 자동 추출하여 3D 모델링 데이터를 구축하는 도면 해석 연구가 활발히 진행 중에 있다. 기존의 2차원 사진 기반 도면 해석 연구들은 객체와 배경이 명확히 구분되며 객체가 일정한 색으로 표현된 전자 도면을 대상으로 연구를 수행하였다. 하지만, 펜과 잉크를 사용해 작성된 핸드드로잉 도면의 경우 기존 연구에 사용된 도면에 비해 노이즈가 많고 배경 패턴이 불규칙적이다. 또한 사용된 펜이나 잉크에 따라 객체의 색상값이 일정하지 않기 때문에 기존 실내 공간 객체 추출 알고리즘을 적용하는 데에 한계가 존재한다. 이에 본 연구는 노이즈가 심하고 불규칙적인 핸드드로잉 건축도면을 대상으로 실내 공간을 구성하는 객체와 배경을 구분하는 이진화를 수행하고자 한다. 본 연구는 전자 도면 대상의 기존 실내 공간정보 자동 추출 연구의 범위를 역사적 건축물이나 건축 연도가 오래되어 아날로그 방식으로 작성된 건축도면만 존재하는 건물을 대상으로 확장하는 것을 목표로 한다. 분석 데이터로서 1900년대 초반에 작성된 일제시기 건축도면을 활용하여 연구를 수행하였다. 본 연구에 사용된 일제시기 건축도면은 종이류 문화재 특성상 보관 및 디지털화 과정에서 다양한 형태의 노이즈가 존재하며 작성 시 사용된 필기류 종류에 따라 객체의 색상 값이 일정하지 못하다. 또한 핸드드로잉 건축도면 이미지마다 나타나는 노이즈의 픽셀값과 실내 객체의 선명도가 다르기 때문에 머신러닝 모델을 사용한 학습 기반 이진화 기법을 적용하였다. 이진화는 제거하고자 하는 노이즈의 형태에 따라 크게 두 가지 단계로 진행된다. 첫 번째 단계는 가우시안 혼합 모델을 사용하여 도면 이미지의 배경에 전체적으로 넓게 분포하는 노이즈를 감소시키는 단계이다. 두 번째 단계는 랜덤포레스트 모델을 기반으로 객체와 배경을 구분하는 특징을 추출하여 면적이 작고 다양한 형태의 노이즈를 학습 및 제거시키는 단계이다. 마지막으로 제안한 방법론에 대한 검증을 수행하기 위해 학습 과정에 사용되지 않은 테스트 셋에 대한 분류 모델 성능 평가와 최종 결과 이미지에 대한 이미지 품질 평가를 진행했다. 실험 결과, 분류 모델 성능 평가의 경우 랜덤포레스트 모델의 평균 정밀도 및 재현율은 각각 0.985와 0.99이고 최종 이진화 결과 이미지의 신호 대비 잡음 비 지표는 16.543의 결과를 얻었다. 이진화 결과, 선행 연구 대비 다양한 두께로 구성된 벽, 창문, 가벽과 같은 실내 공간 객체와 배경을 성공적으로 분리하였다. 또한 모델의 일반화 성능 검증을 위해 베르사유 궁전 건축도면에 대해 본 연구의 이진화 알고리즘을 적용하였다. 적용 결과, 정밀도 및 재현율은 각각 0.998와 0.969이고 결과 이미지의 품질을 평가하는 지표 역시 테스트 셋과 유사하게 우수한 성능을 나타냈다. 본 연구는 기존 도면 해석 연구의 활용처를 핸드드로잉 건축도면으로 확장하는 기반을 마련했다는 점에서 의의가 있다.Along with the recent development of artificial intelligence and the Internet of Things, social interest in indoor location-based services providing real-time information from user location is getting high. For location-based service development, indoor spatial modelling is essential to represent indoor topology. Therefore, many studies have been conducted to extract indoor structure information from various types of data such as laser scanners, architectural drawing images, and CAD plans. In particular, the automatic extraction technology of indoor space information is economically efficient compared to manual modeling, so algorithms for automatic extraction of floor plan entities like walls, windows, and stairs from 2D floor plan image are actively developed. Previous studies mostly used “clean” floor images that floor plan entities and background are clearly distinguished. However, in the case of hand-drawing architectural floor plans created using various types of pens and ink, there are large numbers of noise in background. In addition, since the pixel intensities of every floor plan entities are not constant depending on the pen or ink used, there is a limit to applying the previous algorithms. Therefore, this study aims to perform binarization to distinguish floor plan entities from background with noise and irregular patterns. The purpose of this study is to expand the scope of previous floor plan analysis studies to historical and old buildings. For dataset, we use architectural drawings of the Japanese colonial period written in the early 1900s. The Japanese architectural drawings used in this study have various types of noise made during the process of storage and digitization. Also, floor plan entities consist of all different colors depending on the type of materials used. We apply learning-based binarizaiton algorithm and our algorithm can be divided into two main steps. The first step is to reduce the noise that is widely distributed across the background of the drawing image using a Gaussian mixture model. The second step is to extract features that distinguish objects and backgrounds based on the random forest model, and to learn various forms of small noise. For evaluation, we perform the classification performance of suggested algorithm on test set. Our binarization algorithm results in 98.5% precision and 99.0% F1-score rate. This study has two main contributions. First, our algorithm successfully distinguishes various types of floor plan entities with different thickness. Second, study scope of automatic extraction of spatial information from floor plan image can be expanded from electronic floor plan image to hand-drawing architectural floor plans.1. 서론 1 1.1 연구 배경 및 목적 1 1.2 이진화 연구 동향 4 1.2.1 규칙 기반 이진화 방법론 7 1.2.2 학습 기반 이진화 방법론 10 1.2.3 시사점 및 결론 12 1.3 연구 범위 및 방법 14 2. 연구 방법 17 2.1 데이터 수집 및 전처리 17 2.2 배경 예측 및 제거 19 2.2.1 픽셀값 빈도 분석 19 2.2.2 이상값 필터링 21 2.2.3 가우시안 혼합 모델 24 2.2.4 배경 제거 이미지 생성 26 2.3 머신러닝 기반 도면 이진화 27 2.3.1 특징 추출 27 2.3.1.1 통계적 특성 30 2.3.1.2 명암도 동시행렬의 통계적 특성 31 2.3.1.3 수직-수평 연속성 행렬 35 2.3.2 랜덤포레스트 모델 38 2.3.3 재귀적 특징 제거법 42 2.3.4 평가지표 44 2.4 후처리 47 3. 실험 적용 및 결과 49 3.1 데이터 수집 및 전처리 결과 49 3.2 배경 예측 및 제거 결과 52 3.3 특징 추출 결과 56 3.3.1 명암도 동시발생 행렬 특징 추출 결과 56 3.3.2 수직-수평 연속성 행렬 특징 추출 결과 58 3.4 머신러닝 기반 도면 이진화 평가 결과 59 3.4.1 특징 중요도 및 최적 특징 조합 59 3.4.2 분류 모델 성능 비교 63 3.4.3 이진화 결과 이미지의 품질 비교 65 3.5 머신러닝 기반 도면 이진화 적용 결과 68 3.5.1 소축척 도면에서의 이진화 적용 결과 70 3.5.2 대축척 도면에서의 이진화 적용 결과 72 3.6 다양한 핸드드로잉 건축도면의 이진화 평가 및 적용 결과 74 3.6.1 직선 객체로 구성된 베르사유 궁전 건축도면의 이진화 75 3.6.2 곡선 객체를 포함하는 베르사유 궁전 건축도면의 이진화 76 4. 결론 79 참 고 문 헌 82 부 록 86 Abstract 112석