Handwriting character recognition using neural networks

Magistriniame darbe tiriamos rašto ženklų atpažinimo problemos, nagrinėjami neuroniniai tinklai skirti rašto ženklams atpažinti. Apžvelgiamos problemos, kylančios sprendžiant rašto atpažinimo uždavinius, įvairūs problemų sprendimų būdai. Pasiūlytas dirbtinio neuroninio tinklo mokymo strategijos, pagrįstos klaidos skleidimo atgal algoritmu, patobulinimas. Patobulinimo esmė yra ta, kad mokymo aibė į tinklą paduodama ne visa iškarto, o dalimis. Kai neuroninis tinklas išmoksta atpažinti tą dalį, mokymo aibė papildoma naujais duomenimis, bet pradinių svorių vektoriai nesikeičia ir tinklas mokomas toliau. Šis algoritmo patobulinimas leidžia ženkliai sumažinti apmokymo laiką neprarandant tikslumo. Kai kuriais atvejais neuroninis tinklas, mokomas pagal įprastą klaidos skleidimo atgal algoritmą, nerodė jokių mokymo perspektyvų, po ~ 9 val. paklaida nesikeisdavo, neuroninis tinklas negalėdavo teisingai atpažinti nei vienos raidės. Panaudojus patobulintą strategiją, mus tenkinanti paklaida pasiekiama po ~ 3 val. 30 min. Taip pat darbe tiriama atpažinimo tikslumo priklausomybė nuo svorių pradinių reikšmių ir neuronų skaičiaus paslėptuose sluoksniuose. Nustatyti intervalai, kuriuose turi būti generuojamos svorių pradinės reikšmės, siekiant gauti tikslius atpažinimo rezultatus. Neuronų skaičius paslėptuose sluoksniuose turi būti daugiau nei penki.The master thesis presents investigations of the problems of the optical character recognition. It also deals with the artificial neural networks that are designed for the optical character recognition. The work surveys the problems that emerge during the process of the optical character recognition. Various solutions are investigated. The improvement of a strategy for teaching the neural network that is based on the error back propagation is suggested. The essence of the improvement is that the training data set is divided into some parts and these parts are presented to the network one by one. When the neural network learns to recognize a part, the next part is presented to the network without any changes of the initial weight vectors and the network is trained further. This improvement allows us to reduce the training time significantly without losing the recognition accuracy. In some cases, the neural network that is trained according the ordinary error back propagation algorithm does not show any prospects. After ~ 9 hours, the error remains the same, the neural networks cannot recognize any letters. Using the improved strategy, the error satisfied is reached after ~3 hours 30 minutes. The dependence of the recognition accuracy on the values of the initial weight vectors and on the number of neurons in hidden layers is also investigated. The intervals in which the values of the initial weight vectors must be generated are identified, in order to get the correct results of the recognition. The number of neurons in hidden layers must be more than five.Švietimo akademijaVytauto Didžiojo universiteta