Hardware implementaton of artificial neural network training using gradient based and global search algorithms on FPGA

Yapay sinir ağları (YSA), sistem giriş ve çıkışları arasındaki karmaşık ilişkiyi etkili bir şekilde modelleyebilme yeteneği ile bilimsel çalışmalarda yaygın olarak kullanılmaktadır. Güncel çalışmalarda YSA eğitiminde gradyen tabanlı algoritmaların yanında global arama özelliğine sahip algoritmalar da kullanılmaktadır. Bu çalışmada, gradyen tabanlı algoritmalardan geriye yayılım (GY) ve Levenberg & Marquardt (LM) algoritmaları ile sezgisel arama özelliğine sahip algoritmalardan parçacık sürü optimizasyon (PSO) ve yapay arı koloni (YAK) algoritmaları kullanılarak YSA eğitimi FPGA üzerinde donanımsal olarak gerçeklenmiştir. Gerçeklemelerde sağlamış olduğu dinamiklik ve hassasiyetten ötürü IEEE 754 kayan noktalı sayı formatı kullanılmıştır. FPGA üzerinde YSA gerçeklemesinde en kritik aşama olan aktivasyon fonksiyonunun gerçeklenmesinde matematiksel yaklaşımlar tercih edilmiştir. Donanımsal gerçeklemeler dinamik sistem tanıma ve araç plaka bölgesi belirleme problemleri kullanılarak test edilmiştir. Eğitilen YSA'lar eğitim fazında ağa gösterilmeyen girişçıkış örnekleri ile test edilmiş ve her örnek için yukarıda bahsi geçen algoritmaların YSA eğitimindeki başarım oranları kıyaslamalı olarak verilmiştir.Artificial neural networks (ANNs) are commonly used in scientific studies due to their ability to effectively model complex relationship between input and output of a system. In recent studies global search algorithms are also utilized in addition to gradient based algorithms in ANN training. In this study, hardware implementation of ANN training on FPGA is realized using gradient based algorithms such as Back Propagation (BP) and Levenberg&Marquardt, and heuristic algorithms such as Particle Swarm Optimization (PSO) and Artificial Bee Colony (ABC). For implementation, floating point numbers are chosen as number format due to its dynamism and accuracy. Mathematical approachesare preferred for hardware implementation of activation functions, which is the most critical stage of ANN implementation on FPGA. The hardware implementations on FPGA are tested using dynamic system identification and license plate recognition problems. The trained ANNs are tested using input-output data sets which are not used in training and results for each example are given in a comparative manner