Acoustic-based assembly defect detection system

학위논문(석사) -- 서울대학교대학원 : 공학전문대학원 응용공학과, 2022.2. 성우제.글로벌 제조업체들은 제품의 품질을 확보하기 위한 많은 노력에도 불구하고, 다양한 원인에 의한 생산 불량은 지속해서 발생한다. 생산 불량 제품이 소비자에게 전달될 경우 이것은 직접적인 비용 이외에도 브랜드 이미지를 일순간에 실추 시켜 기업경영에 타격을 줄 수 있는 중요한 문제이다. 최근 딥러닝 기술의 발전으로 제조 현장에서 이상 탐지(anomaly detection)기반의 많은 연구가 이루어지고 있다. 그러나 최근 연구된 관련 연구를 살펴보면 주로 비전(vision)검사를 통한 제품의 표면 결함을 다루거나 진동 데이터를 이용해 생산 설비의 상태 검사에 관한 연구가 대부분이다. 그러나 이러한 방식은 소리를 다루는 오디오 제품에 적용하기에는 적합하지 않다. 또한 하루에 수백, 수천 개를 생산하는 제조업에서 제품의 품질검사에 센서를 부착하기 위해서는 많은 시간과 비용이 소요된다. 본 연구는 단일 음향 센서로 측정한 스피커 출력데이터와 합성 곱 신경망을 활용하여 원시 오디오 신호에서 직접 표현을 학습하는 소리 분류에 대한 종단 간 접근 방법을 제시한다. 조립 결함의 분류 작업과 관련된 다양한 필터를 학습하기 위해 7개의 컨볼루션 레이어가 사용된다. 데이터셋은 여러 대의 스피커에서 출력데이터를 통해 수집되었으며, 일부 스피커 출력에서 학습한 지식이 다른 스피커 결함 여부를 판단 할 수 있음을 보였고, 평균 정확도 99\%를 달성하는 것으로 나타났다. 제안하는 조립결함 감지 기법은 기존의 2D 표현을 입력으로 사용하는 대부분의 방식보다 높은 성능을 보인다. 또한, 다른 아키텍처에 비해 적은 수의 매개변수를 가지고 있어, 실시간 제품 품질 검사에 효율적이다. 본 연구를 통해 제조 현장에서 TV, 차량용 AVN과 같이 스피커가 탑재된 제품에 대한 조립 공정 불량률을 감소시켜줄 것으로 기대한다.Despite many efforts by global manufacturers to secure product quality, production defects due to various causes continue to occur. If defective products are delivered to consumers, this is an important problem that can damage corporate management by instantly destroying brand image in addition to direct cost. Recently, with the development of deep learning technology, many studies based on anomaly detection are being conducted in manufacturing sites. However, if you look at the related studies that have been recently studied, most of them deal with the surface defects of products through vision inspection or the state inspection of production facilities using vibration data. However, these methods are not suitable for application to audio products that deal with sound. In addition, it takes a lot of time and money to attach a sensor to apply it to quality inspection of products in a manufacturing industry that produces hundreds or thousands of units per day. In this paper, we present an end-to-end approach to sound classification that learns representations directly from raw audio signals using speaker output data measured by a single acoustic sensor and a synthetic product neural network. Seven convolutional layers are used to learn various filters related to the classification task of assembly defects. The dataset was collected through output data from multiple speakers, and it was shown that the knowledge learned from the output of some speakers can determine whether other speakers are defective, with 99% accuracy. The proposed assembly defect detection method shows higher performance than most methods that use the existing 2D representation as input. In addition, it has fewer parameters compared to other architectures, making it efficient for real-time product quality inspection. Through this study, it is expected that the assembly process defect rate will be reduced for product groups with speakers installed inside the product, such as TVs and AVNs for vehicles.I. 서론 1 1.1 연구 배경 1 1.2 접근 4 1.3 연구보고서 구성 5 II. 관련 연구 6 2.1 합성곱 신경망 6 2.2 전이 학습 10 2.3 데이터 증강 11 2.4 시작 감지(Onset detection) 12 2.4.1 시간 영역 시작 감지 12 2.4.2 주파수 영역 시작 감지 13 2.5 음향 장면 분류 13 III. 문제 정의 방법론 14 3.1 조립 결함의 정의 14 3.2 제안된 종단간 아키텍쳐 17 3.2.1 1D CNN 토폴로지 19 3.2.2 네트워크 아키텍쳐 21 3.3 조립결함 오디오 데이터 증강 23 IV. 실험 및 평가 25 4.1 조립 결함 데이터셋 25 4.2 실험 환경 29 4.3 학습 방법 34 4.4 평가 36 4.4.1 네트워크별 성능 평가 38 4.4.2 스피커 지향성 분석 44 V. 결론 48 참고 문헌 51 Abstract 57석