MATHEMATICS OF NEURAL NETWORKS WİTH ONE AND TWO HİDDEN LAYERS

Bu tezde lojistik regresyon ve yapay sinir ağlarından bahsedilmiş, özellikle bir ve iki gizli katmanlı yapay sinir ağlarının mimarileri incelenmiştir. Bu mimariler XOR veri kümesi üzerinde kullanılmıştır. Lojistik regresyonun sınıflandıramadığı XOR veri kümesi bir ve iki gizli katmanlı yapay sinir ağı mimarileriyle sınıflandırılmıştır. Daha sonra matematiksel temellerinin araştırılması için baskı maliyet fonksiyonu tanımlanmıştır. Bu fonksiyon, bir gizli katmanlı yapay sinir ağının gizli katmanındaki sonuncu nöronunun parametrelerini sıfır yapacak şekilde tasarlanmıştır. Yani sonuncu nöron baskılanmıştır. Böylece r ideal nöron sayısı ve istenilen maliyet değeri olduğu varsayılırsa r için hesaplanan maliyet değeri, r için hesaplanan baskı maliyet değeri arasındaki fark çok küçük ve aralarındaki ilişki olduğu gözlenmiş ve ispatlanmıştır. Tanımlanan baskı maliyet fonksiyonu kullanılarak bir deney yapılmış ve bu deneyin sonucunda XOR veri kümesi için bir gizli katmanlı yapay sinir ağının ideal nöron sayısı tespit edilmiştir. Daha sonra iki gizli katmanlı yapay sinir ağları için baskı maliyet fonksiyonu tanımlanmıştır. Bu baskı maliyet fonksiyonu birinci ve ikinci gizli katmandaki nöron sayılarını eşit tutup bu mimarinin birinci ve ikinci gizli katmanındaki son nöronlar baskılanmıştır. Bu fonksiyon kullanılarak bir gizli katmanlı yapay sinir ağları için yapılan deney, iki gizli katmanlı yapay sinir ağları için de yapılmıştır. Bu deneyle XOR veri kümesi için iki gizli katmanlı yapay sinir ağının ideal nöron sayısı tespit edilmiştir. Sonuç bölümünde elde edilen yöntemin genelleştirilmesi incelenmiştirIn this study, logistic regression and artificial neural networks were mentioned. Especially, architectures of one and two hidden layer artificial neural networks were analyzed. These architectures were used for XOR problem. XOR problem which logistic regression couldn’t classify was classified with one and two hidden layer architectures. Then, in order to investigate the mathematical foundations, the supressed cost function was defined. This function makes last neuron’s parameters in the hidden layer of one neural networks zero. So, suppose that r is the ideal number of neurons and is the desired value for cost function, then the connection of cost function, supressed cost function and is . By using this function, an experiment have been done and the ideal number of neuron was detected for XOR dataset with this experiment. Then, supressed cost function was defined for the two hidden layer artificial neural Networks. For this supressed cost function’s first and second hidden layers were kept equal. So, the experiment which is done for one hidden layer artificial neural network was done for two hidden layer artificial neural networks. With this experiment, the ideal number of neuron was detected for XOR dataset. In the conclusion section, the generalization of obtained method is observed