Prediction on Physical Properties of Soil based on Deep Learning using Digital Image Processing

학위논문 (박사) -- 서울대학교 대학원 : 농업생명과학대학 생태조경.지역시스템공학부(지역시스템공학전공), 2020. 8. 손영환.최근 다양한 연구가 진행되고 있는 딥러닝 기법은 기존 분석 알고리즘들의 이미지 분류 및 분석 정확도가 낮은 한계점을 극복한 기술로 이를 이용한 토양 특성 예측 모델 구축 시 기존의 실험적 방법에 비해 낮은 비용으로 신속하게 현장 토양 관리를 수행할 수 있을 것으로 기대된다. 본 연구에서는 딥러닝 기법을 통해 토양의 이미지로 물리적 특성중 흙의 분류, 함수비, 건조 밀도를 예측하는 방법을 개발하였다. 토양의 물리적 특성 예측에 적합한 모델 개발을 위해 딥러닝 기법 중 심층신경망을 이용하여 이미지 특성값의 회귀분석을 진행하였고 합성곱신경망을 이용하여 이미지 분류 모델을 개발하였다. 이때 딥러닝 모델의 입력자료 구축을 위한 이미지 처리 방법으로 디지털 이미지 프로세싱 (Digital image processing)을 적용하였다. 국내 토양 환경에 적합한 모델 개발을 위해 사양토, 양토, 미사질양토, 미사질식양토의 4종의 토양을 대상으로 연구를 진행하였으며 다양한 함수비, 건조밀도 조건에서 토양 별 60장의 디지털 이미지를 획득하였다. 디지털 이미지 프로세싱 기법을 통해 토양 이미지를 처리하여 R, G, B 3종의 색상정보와 이미지의 간극면적에 대한 정보를 획득하였다. 이때 이미지의 임계값 (threshold) 별 간극면적을 획득하여 간극면적곡선이라 명명하였다. 간극면적곡선은 곡선의 기울기가 함수비, 밀도에 따라 변화하는 특징이 있기 때문에 토양의 함수비, 밀도 변화에 따른 간극 분포 변화를 대표할 수 있는 자료로 확인되었으며 토양의 색상정보와 함께 심층신경망 모델의 입력자료로 활용되었다. 심층신경망 모델을 이용한 토양 4종의 물리적 특성 예측 결과 토양 분류 정확도 96.25%, 함수비 예측 RMSE 0.2 ~ 1.0%, 건조밀도 예측의 RMSE는 0.061 ~ 0.101t/m3으로 나타났다. 개발된 심층신경망 모델을 다른 토양에 적용할 시 필요한 보정 방법을 제안하였으며 보정을 수행하면 모델이 구축되지 않은 지역에서도 기존의 실험적 방법과 유사한 수준으로 예측 가능함을 확인하였다. 합성곱신경망을 이용한 토양 특성 예측 결과 학습 이미지의 개수가 많은 216 x 216 해상도 모델의 분류 정확도가 가장 높았다. 본 연구에서 개발한 심층신경망, 합성곱신경망 두 가지 모델의 결과를 비교하면 토양분류, 함수비 예측은 유사한 수준의 정확도를 나타내었으나 건조 밀도 예측의 정확도가 심층신경망 모델이 더욱 우수한 것으로 나타났으며 이에따라 본 연구에서 제안한 간극면적곡선은 토양 표층 간극의 특징을 잘 나타내 주는 인자로 판단된다. 개발된 토양 특성 예측 방법의 현장 적용성 평가를 위해 토양 3종에 대해 토양분류, 함수비, 건조밀도 예측을 수행하였다. 현장 토양 이미지를 사용하여 모델 개발 시 함수비 예측의 RMSE는 0.93 ~ 1.39%, 건조밀도 예측의 RMSE는 0.022 ~ 0.079 t/m3로 나타났으며, 기존에 개발된 모델 적용 시 함수비 예측 RMSE는 2.01 ~ 2.89%, 건조밀도 예측 RMSE는 0.040 ~ 0.051t/m3으로 나타나 현장 적용성을 확인하였다. 또한 딥러닝 모델은 기존 시험방법에 비해 동일 지점에 대한 반복 시험이 매우 신속하고 간편하다는 장점이 있으며 반복 촬영 결과 모델의 정확도를 높일 수 있음을 확인하였다. 이에 따라 본 연구에서 개발된 DIP와 딥러닝을 이용한 흙의 물리적 특성 예측 방법의 적용 시 기존 토양 관리 방법에 비해 신속하고 경제적인 토양 특성 모니터링을 수행하는데 기여할 수 있을 것으로 판단된다.Deep learning has dramatically improved the accuracy of existing image analysis algorithms, and accordingly, various studies on deep learning have been conducted. It is expected that the development of a soil properties prediction model based on deep learning will enable quicker in-situ soil management at a lower cost than existing experimental methods. In this study, a prediction method on physical properties of soil based on deep learning of soil images using digital image processing was developed. A regression model using Deep neural network (DNN) and an image classification model using Convolutional neural network (CNN) was developed. Digital image processing (DIP) was applied as an image processing method for constructing input data of a deep learning model. Digital images were obtained for each soil under various water content and dry density conditions. Soil color and void area were obtained through DIP. Since the void area of the soil depends on the threshold value in binarization of the soil image, in this study, the void area values were extracted for each threshold and named this as the Voia area curve (VAC). VAC has a characteristic that the shape of the curve changes according to the change in the water content and density of the soil. As a result of DNN model, the soil texture classification accuracy was 96.25%, and the RMSEs when predicting the water content and dry density were 0.2 to 1.0% and 0.061 to 0.101 t/m3, respectively. As a result of CNN model, the more the number of training images, the higher the accuracy of the model. The accuracy of the dry density prediction using DNN model was superior. Accordingly, the VAC is considered to be a main factor that shows the characteristics of void of soils. To evaluate the applicability of the developed soil property prediction method to in-situ situation, prediction on soil properties was performed for three types of in-situ soil. The deep learning model has the advantage that it is very quick and easy to repeat the test at the same point compared to the existing test method, and it was confirmed that the accuracy of the model can be improved as a result of repeated soil image shooting. Accordingly, it is considered that the application of prediction method on physical properties of soil based on deep learning using DIP can contribute to performing soil property monitoring faster and more economically than conventional soil management methods.제 1 장 서 론 1 1.1 연구배경 및 필요성 1 1.2 연구 목적 4 1.3 연구 내용 4 제 2 장 연구사 7 2.1 기계학습을 이용한 이미지 분류 7 2.2 디지털 이미지 처리를 통한 토양 특성 예측 10 2.3 기계학습을 이용한 토양 특성 예측 13 제 3 장 이론적 배경 17 3.1 디지털 이미지 해석 17 3.1.1 디지털 이미지 17 3.1.2 히스토그램 19 3.1.3 임계치 20 3.1.4 이진 영상 변환 23 3.2 기계학습 25 3.2.1 비지도학습 25 3.2.2 지도학습 26 3.3 딥러닝 28 3.3.1 심층신경망 29 3.3.2 합성곱신경망 35 제 4 장 연구 대상 및 적용 방법 43 4.1 대상 토양 특성 및 시험방법 43 4.2 연구대상지 49 4.3 토양 이미지 획득 과정 52 4.3.1 실내 토양 이미지 획득 52 4.3.2 현장 토양 이미지 획득 59 4.4 토양 이미지의 디지털 이미지 프로세싱 61 4.4.1 DIP를 이용한 토양 이미지 내 정보 추출 61 4.4.2 DIP를 이용한 토양 이미지의 전처리 69 제 5 장 DIP를 이용한 토양 이미지 처리 71 5.1 토양 특성에 따른 토양 이미지의 색상 변화 71 5.2 딥러닝을 위한 학습 이미지 증강 78 5.3 토양 이미지의 간극면적곡선 (VAC) 84 제 6 장 토양 이미지의 딥러닝을 통한 토양 특성 예측 91 6.1 딥러닝 모델의 개발 환경 91 6.2 DNN모델을 이용한 토양 물리성 예측 93 6.3 CNN모델을 이용한 토양 물리성 예측 116 제 7 장 DIP와 딥러닝을 이용한 흙의 물리적 특성 예측 방법의 현장적용 137 7.1 딥러닝 모델의 적용 방법 137 7.2 현장 촬영 조건 선정 140 7.3 현장 조건 및 딥러닝 모델 적용 결과 144 7.4 현장 적용성 향상을 위한 딥러닝 모델의 적용 방안 156 7.5 DIP와 딥러닝을 이용한 흙의 물리적 특성 예측 방법의 개선 및 활용 158 제 8 장 결론 161 참고 문헌 165 Appendix A. Result of CNN model 175 A.1 토양 분류 예측 결과 175 A.2 함수비 예측 결과 187 A.3 건조 밀도 예측 결과 199Docto