Mathematical foundations of neural networks

Glavni cilj ovog rada objasniti je matematički model po kojem računalo oponaša proces čovjekovog učenja. U tu svrhu definirane su jednostavne i višeslojne neuronske mreže kao objekt podložan učenju te je oprimjerena njihova upotreba na logičkim funkcijama. Također, objašnjen je algoritam s povratnim proslijeđivanjem pogreške, čija je glavna ideja utemeljena na metodi gradijentnog spusta, koji mijenjanjem parametara neuronskih mreža omogućava učenje istih. Algoritam je proveden na jednoslojnoj neuronskoj mreži. Naposljetku, uvedena je Elmanova mreža kao najjednostavniji primjer povratnih neuronskih mreža i primjerom pokazano učenje te mreže.The main objective of this master’s thesis is to introduce a mathematical model which enables computers to imitate human’s learning process. For this purpose, simple and multi-layer neural networks are defined as objects that can be trained and a few examples for their usage are provided. Also, Backpropagation algoritam, whose main idea is based on gradient descent method and which enables neural network to learn by changing their parametar, is explained. The algorithm was implemented on a single-layer neural network. Lastly, Elman’s network was introduced as the simplest example of reccurent neural networks and its learning is demonstrated