Application of Recurrent Neural Networs in Code Analysis

U ovom radu definiramo unaprijeđne i rekurentne neuronske mreže koje se koriste za rješavanje zadataka strojnog učenja. Neuronske mreže su sofisticirani model računanja za koji se može izraditi efikasan algoritam treniranja, procesa kojim neuronska mreža uči kako reprezentirati podatke uzorkovane iz neke nepoznate distribucije. U prva dva poglavlja rada definiramo razne oblike neuronskih mreža i dajemo primjere problema koje oni rješavaju. Naglasak se stavlja na LSTM arhitekturu, enkoder-dekoder arhitekturu i razne mehanizme pažnje. U trećem poglavlju motiviramo automatizaciju analize programskog koda. Dajemo pregled radova koji pokazuju kako primijeniti rekurentnu neuronsku mrežu za određivanje kratkog opisa funkcionalnosti isječaka programskog koda te klasifikaciju programskog koda.In this paper we define feedforward and recurrent neural networks that are used to solve machine learning problems. Neural networks are a sophisticated computational model with an efficient training algorithm, a process where the networks learns how to describe data sampled from an unknown probability distribution. In the first two chapters, we define different types of neural networks and give examples of problems they can solve. We put emphasis on the LSTM architecture, encoder-decoder architectures and various attention mechanisms. In the third chapter, we motivate automation of program analysis. We review papers that show how to apply recurrent networks to summarize and caption code snippets and to classify programs