Probabilistiset sanaupotteet Laplace-priorijakaumilla

In the 21st century, textual data has become abundant, large and easily available, which makes quantifying text and words interesting. This interest has been met with powerful word embedding methods such as Word2Vec. They turn large, unannotated data into real vector spaces with interesting properties. In recent years, several studies have proposed methods, which build on Word2Vec. By utilizing side-information, such as dictionary definitions, they enhance performance of the embeddings in different tasks. Word embeddings have also been framed as probabilistic language models. This study presents and examines a probabilistic word embedding model, Probabilistic Word Embeddings with Laplacian Priors (PELP). PELP is based on a previous probabilistic framing of the Word2Vec approach, where word and context vec- tors follow a spherical Gaussian prior distribution. PELP uses a Gaussian prior with the Laplacian matrix of a side-information graph as the precision matrix. This study examines PELP with side-information graphs consisting of dictionary information, translation pairs and antonym pairs. With dictionary side-information, PELP outperforms the base models in word similarity tasks. The improvement is substantial, and roughly matches the previous Word2Vec based models in magnitude. Additionally, PELP is found to be somewhat applicable to aspect isolation tasks. However, the performance in these tasks is somewhat inconsistent between runs. Finally, PELP’s applicability to cross-lingual embeddings is examined, though issues in the sampling process render the results indecisive. The results of this study give preliminary support for the use of Laplacian priors in probabilistic word embeddings, and warrant further research into the topic.2000-luvulla tekstimuotoisesta datasta on tullut määrältään massiivista sekä helposti saatavissa olevaa, mikä tekee tekstin ja sanojen kvantifioinnista mielenkiintoista. Tähän kiinnostukseen ovat vastanneet tehokkaat sanaupotteet (eng. word embedding), ensimmäisenä Word2Vec. Ne muuntavat suurta, jäsentämätöntä tekstidataa reaalivektoreiksi, joilla on mielenkiintoisia ominaisuuksia. Viime vuosina on esitelty useita paranneltuja versioita Word2Vec-menetelmästä, jotka hyödyntävät jäsenneltyä lisätietoa, kuten sanakirjamääritelmiä. Nämä menetelmät parantavat sanaupotteiden suorituskykyä eri sovellutuskohteissa. Sanaupotetteita on luotu myös probabilististen kielimallien pohjalta. Tässä diplomityössä esitellään probabilistinen sanaupotemalli Probabilistic Word Embeddings Laplacian Priors (PELP). PELP perustuu aikaisempaan Word2Vec-menetelmän probabilistiseen versioon, jossa sana- ja kontekstivektorit ovat normaalijakautuneita a priori. PELP käyttää normaalijakauman tarkkuusmatriisina Laplacen matriisia lisätietograafista. Tässä diplomityössä tutkitaan PELP:ä eri lisätietograafeilla, jotka pohjautuvat sanakirjamääritelmiin, käännöspareihin ja vastakohtapareihin. Sanakirjalisätiedolla PELP saavuttaa parempia tuloksia kuin perusmallit sanojen samanlaisuuden määrittämisessä. Parannus on huomattava, ja vastaa suurelta osin paranneltuja Word2Vec-pohjaisia malleja. Lisäksi tässä työssä tutkitaan PELP:n merkitysten eri aspektien eristämiseen. Suorituskyky näissä sovellutuksissa on kuitenkin epätasaista. Lisäksi tutkitaan PELP:n soveltuvuutta monikielisiin sanaupotteisiin. Näyttö PELP:n soveltuvuudesta. Tämän tutkimuksen tulokset antavat alustavaa tukea Laplace-priorijakaumien käytölle probabilistisissa sanaupotteissa ja aihetta jatkaa niiden tutkimista eri konteksteissa