Classification With Multilayer Perceptron Trained With Ant Colony Optimization

Tez (Yüksek Lisans) -- İstanbul Teknik Üniversitesi, Fen Bilimleri Enstitüsü, 2010Thesis (M.Sc.) -- İstanbul Technical University, Institute of Science and Technology, 2010Bu çalışmada, Karınca Kolonisi Optimizasyonu algoritması, literatürde ilk defa, çok katmanlı ağın eğitiminde kullanılarak yeni bir çok katmanlı ağ ve eğitim yöntemi geliştirilmiştir. Çok katmanlı ağ eğitiminde kullanılan geleneksel algoritmalar, ağdaki katman sayısını ve katmanlardaki düğüm sayılarını ihtiyaca göre belirleyememekte ve ağı yerel çözümlere götürebilmektedir. Ağın eğitim aşamasında Karınca Kolonisi Optimizasyonu algoritması kullanılarak, çok katmanlı ağın birinci katmanındaki ağırlıkların en iyi değerleri elde edilmeye çalışılmıştır. Ayrıca bu algoritmanın, ağın katmanlarındaki düğüm sayılarını, problemin türüne göre belirlemesi sağlanmıştır. Bu yolla yeni bir ağ elde edilmiş ve bu ağın sınıflandırma yeteneği çeşitli veri kümelerinde denenmiştir. Ayrıca elde edilen yeni ağın el yazısı rakamları sınıflandırma başarımı, farklı el yazısı rakam veri kümeleri ve farklı öznitelik vektörleri kullanılarak ölçülmüştür. Ağın başarımı, geri yayılım algoritması ve genetik algoritmalar ile eğitilmiş çok katmanlı ağlar ve k-en yakın komşu sınıflandırıcılarının aynı veri kümeleri üzerindeki başarımları ile karşılaştırılmıştır. Geliştirilen yöntemle, çok katmanlı ağın birinci katman ağırlıklarının ve bu katmandaki düğüm sayısının en iyi değerleri elde edilebilmekte ve ağ sınıflandırma problemlerinde başarılı olabilmektedir.In this study, Ant Colony Optimization algorithm is used for multilayer perceptron training first time in literature. In this way, a new multilayer perceptron and a training algorithm are provided to literature. The traditional multilayer perceptron training algorithms have some poorness about saving the neural network from local minimums and determining the neuron numbers of each network layer according to problem definition. In the training stage, the first layer weights of the multilayer perceptron are optimized by Ant Colony Optimization algorithm. Additionally, number of the neurons in the first layer is determined by the algorithm according to problem. In this way a new multilayer perceptron is obtained. Classification performance of new multilayer perceptron is tested with various datasets. Additionally, handwritten digits classifying performance of new multilayer perceptron is tested with different handwritten digits datasets and different feature vectors. Multilayer perceptrons trained with back propagation and genetic algorithms and k-nearest neighbor classifiers are also tested with the same datasets. Performances of all classifiers are compared. With the new method, extraction the optimum weights and determination neuron numbers, as a result successful classification are achieved.Yüksek LisansM.Sc