Sistem Persepsi Kondisi Tunggu Dengan Metode Convolutional Neural Network (CNN) Pada Mobil Otonom

Pengembangan mobil otonom dilatarbelakangi antara lain oleh banyaknya kasus kecelakaan lalu lintas. Sebagian besar kasus kecelakaan ini, disebabkan oleh kurangnya perhatian atau konsentrasi pengemudi pada lampu dan rambu lalu lintas yang terdapat di jalan. Oleh karena itu, mobil otonom diharapkan memiliki sebuah sistem persepsi yang andal sehingga dapat menurunkan risiko terjadinya kecelakaan lalu lintas. Sistem persepsi kondisi tunggu sangatlah penting bagi mobil otonom karena berfungsi untuk mengetahui kondisi lingkungan yang mengharuskan mobil otonom berhenti dan menunggu, sebelum melanjutkan perjalanan. Sistem ini dapat melokalisasi dan mengklasifikasikan kondisi lampu dan rambu lalu lintas. Pada penelitian ini, telah dirancang sebuah sistem persepsi kondisi tunggu dengan metode Convolutional Neural Network (CNN) pada mobil otonom. Sistem menerima input berupa gambar dari kamera. Fitur pada gambar diekstrak menggunakan arsitektur Cross Stage Partial Darknet-53 (CSPDarknet-53) dan menghasilkan tiga skala peta fitur. Ketiga peta fitur ini diagregasi dengan konfigurasi Spatial Pyramid Pooling (CSPSPP) dan Path Aggregation Network (CSPPAN) menuju ke ketiga detektor. Detektor dengan algoritma You Only Look Once (YOLO) yang ditambahkan Spatial Attention Module (SAM) mendeteksi lampu dan rambu lalu lintas pada gambar. Non-Maximum Suppression (NMS) dan algoritma persepsi kondisi tunggu diterapkan untuk hasil deteksi. Sistem menghasilkan output berupa kelas lampu dan rambu lalu lintas, bounding box, confidence score dan indikator persepsi kondisi tunggu. Sistem diuji dengan dataset yang diambil di lingkungan ITS dan sekitarnya. Sistem memperoleh mean Average Precision (mAP) 53,85% pada lampu dan rambu lalu lintas untuk kondisi tunggu dan 85,15% untuk kondisi biasa dengan kecepatan 30 Frames Per Second (FPS) pada NVIDIA Tesla T4 tunggal. ================================================================================================= The development of autonomous cars is motivated by among other things the number of cases of traffic accidents. Most of these accidents are caused by the driver’s lack of attention or concentration to the traffic lights and signs on the road. Therefore, autonomous cars are expected to have a reliable perception system that can reduce the risk of traffic accidents. The wait condition perception system is very important for autonomous cars because it functions to determine environmental condition that require autonomous cars to stop and wait before continuing to move. The system can localize and classify the condition of traffic lights and signs. In this study, a wait condition perception system has been designed using the Convolutional Neural Network (CNN) method on autonomous car. The system receives input in the form of image from camera. The features in the image are extracted using the Cross Stage Partial Darknet-53 (CSPDarknet-53) architecture and generated three scales of feature map. The three feature maps are aggregated using the Spatial Pyramid Pooling (CSPSPP) and Path Aggregation Network (CSPPAN) configuration to the three detectors. These detectors with the You Only Look Once (YOLO) algorithm added with the Spatial Attention Modules (SAM) detect traffic lights and signs in the image. A Non-Maximum Suppression (NMS) and wait condition perception algorithm are applied to the detection results. The system produces outputs in the form of classes of traffic lights and signs, bounding boxes, confidence scores, and indicator of perception of wait condition. The system was tested with datasets taken in ITS environment and its surroundings. The system achieved a mean Average Precision (mAP) of 53,85% on traffic lights and signs for the wait condition and 85,15% for the normal condition at a speed of 30 Frames Per Second (FPS) on a single NVIDIA Tesla T4 Graphics Processing Unit (GPU)