Long Short-Term Memory

U ovom ćemo radu upoznati neuronske mreže, rekurentne neuronske mreže te mreže dugog kratkoročnog pamćenja. Najprije ćemo navesti osnove pojmove iz strojnog učenja. Zatim ćemo proći kroz osnove neuronskih mreže, definirati pojmove i notaciju mreža, te pojasniti proces treniranja neuronskih mreža. Nakon toga, opisat ćemo rekurentne mreže i predstaviti problematiku koja se pojavljuje kod običnih rekurentnih mreža. Predstavit ćemo mrežu dugog kratkoročnog pamćenja kao rješenje spomenute problematike kod jednostavnih rekurentnih mreža. Na kraju ćemo ukratko proći kroz različite izvedbe mreža dugog kratkoročnog pamćenja.In this paper, we will define neural networks, recurrent neural networks and long short-term memory networks. Firstly, we will introduce fundamental concepts of neural networks, define terms and notations related to networks and explain the process of training. After that, we will describe recurrent networks and present the problem that occurs with simple recurrent networks. Then, we will long short-term memory network as a solution to mentioned problem with classic RNNs. Finally, we will briefly go through different modifications of the LSTM