Rekurentne neuronske mreže

U ovom radu prezentiramo osnovne definicije i činjenice o neuronskim mrežama, s naglaskom na rekurentne mreže. Prvo prezentiramo perceptron i njegov algoritam za učenje, te unaprijedne neuronske mreže s fokusom na višeslojni perceptron. Posebno, izvodimo algoritam unazadne propagacije za višeslojni perceptron. Proučavamo ``obične'' rekurentne neuronske mreže i LSTM mreže. Diskutiramo dvosmjerne rekurentne neuronske mreže i problem eksplodirajućeg/iščezavajućeg gradijenta. Naposljetku, prezentiramo neke primjene rekurentnih neuronskih mreža, te testiramo snagu rekurentnih neuronskih mreža na nekoliko jednostavnih zadataka.In this work we discuss neural networks, particularly recurrent ones. We present the perceptron and its learning algorithm, as well as feedforward neural networks with emphasis on multilayer perceptron (MLP). In particular, we derive backpropagation algorithm for the MLP. We then present vanilla recurrent neural networks (RNNs) and LSTM networks. We discuss bidrectional RNNs and vanishing/exploding gradient problem. Finally, we present some applications of RNNs, as well as conduct several experiments testing RNNs ability to perform some simple tasks