Optimasi Struktur Untuk Deep Network Pengenalan Digit Tulisan Tangan Dengan Morphnet

Proses perancangan struktur neural network umumnya tidak menghasilkan struktur yang optimal. Tidak optimalnya struktur dari neural network salah satunya ditunjukkan dengan tidak signifikannya peningkatan kinerja neural network ketika ditambahkan sumber daya, semisal dengan penambahan neuron maupun layer yang berujung pada peningkatan kebutuhan FLOPS (floating operation) ataupun memori. Hal ini disebabkan kecenderungan penelitian untuk melakukan maksimalisasi akurasi dengan tidak terlalu memperhitungkan sumberdaya yang dibutuhkan dari neural network. Telah ada beberapa penelitian untuk mengatasi masalah ini, namun bentuk yang ada baru menyasar kebutuhan memori, atau penyusutan secara uniform pada seluruh layer yang justru malah menurunkan kinerja network secara signifikan. Penelitian terbaru mengusulkan pendekatan MorphNet, yaitu penggunaan regularizer yang menyasar kebutuhan sumberdaya sebagai bagian dari cost untuk diminimalisir, dan telah diujicobakan pada network ImageNet, AudioSet, dan JFT. Namun, belum ada penelitian yang melakukan optimasi dengan pendekatan MorphNet ini pada jaringan yang mengklasifikasi digit tulisan tangan, dan khususnya yang dilatih dengan menggunakan dataset MNIST. Pada penelitian ini akan dilakukan optimasi pada dua network, yaitu LeNet5 yang berupa convolutional neural network yang telah sedikit dimodifikasi, dan Ciresan yang berupa fully connected layer. Diharapkan metode ini menghasilkan struktur baru yang lebih optimal