Library-level Distributed Processing Method for CNN Training Using GPU Clusters

학위논문(석사)--서울대학교 대학원 :공과대학 컴퓨터공학부,2020. 2. 이재진.This paper presents the performance characteristics of CNN model distributed learning using GPU clusters. Unlike the classical model study, which simply reports the total memory usage or total execution time of the network model, in this paper, the distributed learning execution time is reported per layer and the computation strength considering both the computation amount and the memory access is presented as the main performance metric of the deep learning operation. This makes research on the performance characteristics of a particular model not only limited to that model, but also becomes a generally applicable methodology. And unlike research that reports the performance of a specific deep learning framework, it reports the performance characteristics of CNN models distributed at the library level. Most frameworks manage communications and operations as separate modules, which makes each library entangled with multiple parts of the framework and a mesh of dependencies, making it difficult to distribute distributedly. This paper introduces a library-level distributed processing method and lists the advantages it has over the framework foundation. To verify the effectiveness of the proposed method, we developed a prototype lightweight library and developed a CNN model benchmark based on it.본 논문은 GPU 클러스터를 이용한 CNN 모델 분산 학습에서의 성능 특성을 제시한다. 단순히 네트워크의 메모리 사용량이나 총 실행 시간만을 보고하는 모델 연구와는 달리, 레이어 별로 분산 학습 실행 시간을 보고하며, 계산량과 메모리 접근을 함께 고려한 연산 세기를 딥 러닝 연산의 주된 성능 척도로 제시한다. 이를 통해 특정 모델의 성능 특성 연구가 해당 모델에만 국한되는 것이 아니라, 일반적으로 적용할 수 있는 방법론이 된다. 그리고 특정 딥 러닝 프레임워크의 성능을 보고하는 연구와는 달리, CNN 모델을 라이브러리 수준에서 분산 처리할 때의 성능 특성을 보고한다. 대부분의 프레임워크에서는 통신과 연산을 별도의 모듈로 따로 관리하는데, 이로 인해 각각의 라이브러리가 프레임워크의 여러 부분과 의존성의 그물로 얽혀있게 되고, 유연한 분산 처리가 어려워진다. 본 논문은 라이브러리 수준의 분산 처리 방법을 소개하고, 이것이 프레임워크 기반에 비해 갖는 장점을 열거한다. 소개한 방법이 실효성을 갖는지 확인하기위해, 프로토타입 경량 라이브러리를 개발하고 이를 기반으로 CNN 모델 벤치마크를 개발하여, 실험을 통해 이를 검증하였다.제 1 장 서론 1 제 2 장 관련 연구 3 제 3 장 CNN 학습 알고리즘 4 3.1 역전파 알고리즘 4 3.2 주요 연산 별 학습 알고리즘 7 제 4 장 CNN의 분산 학습 방법 17 4.1 프레임워크의 분산 학습 방법 17 4.2 라이브러리 수준의 분산 학습 방법 20 제 5 장 CNN의 분산 학습 성능 특성 24 5.1 레이어 수준의 성능 특성 24 5.2 블록 수준의 성능 특성 26 5.3 모델 수준의 성능 특성 29 제 6 장 실험 및 결과 분석 30 6.1 실험 환경 30 6.2 실험 결과 31 6.3 결과 분석 39 제 7 장 결론 42 참고문헌 43 Abstract 45Maste