Recurrent Neural Network Based Language Model of Croatian Language

Jezični modeli procjenjuju vjerojatnost pripadanja nekog slieda rieči u neki jezik. Tradicionalni se modeli temelje na prebrojavanju pojavljivanja nizova od n rieči (n-rječja), no ti modeli pate od nedostatka podataka, nemogućnosti modeliranja udaljenih odnosa, nemogućnosti poobćavanja itd. Alternativa su modeli temeljeni na živčanim mrežama koji prikazivanjem rieči pomoću vektora rješavaju glavninu problema tradicionalnih modela. Ti rječni prikazi mogu se izkoristiti i u drugim zadatcima obrade prirodnog jezika. U radu su izrađeni rječni prikazi za hrvatske rieči pomoću naputka word2vec te su izpitani na zadatcima prepoznavanja suznačnica, ocjenjivanja značbene povezanosti i sličnosti, skladnjanih i značbenih nalika te na sustavu za prepoznavanje imenovanih sućaka u hrvatskom jeziku CroNER-u. U svim je slučajevima (osim kod CroNER-a) došlo do znatnog poboljšanja točnosti u odnosu na sustav bez vektorskih prikaza rieči.Language models are used to estimate the probability of a word sequence belonging to some language. Traditional models are based on counting the number of occurrences of n-word long sequences (n-grams). These models, however, suffer from insufficient data, inability to model distant relations or to generalize etc. An alternative approach are neural network based models which use vector representations of words to solve most of the traditional model's problems. These word representations can also be used in other natural language processing tasks. In this thesis we built word representations of Croatian words using word2vec software and tested them on the tasks of synonym detection, semantic similarity and relatedness judgment, syntax and semantic analogies and named entity recognition in Croatian using CroNER. In all the cases (except CroNER) we observed significant increase in accuracy as compared to the systems without vector representations of words