Vektortér alapú szemantikai szóhasonlósági vizsgálatok

A bemutatott kísérletben kiválasztott szavakat a környezetükben előforduló szavak gyakorisági adataiból képzett vektorokkal reprezentáljuk, a vektorok összehasonlításával pedig a szavak szemantikai hasonlóságára következtetünk. A kísérleti rendszer egy feleletválasztásos feladatot old meg, melyben 30 célszó mindegyikéhez automatikusan kiválasztjuk a hozzá leghasonlóbb szót. A vizsgálandó szavak listáján 15 szemantikailag motivált párt találunk, köztük ellentéteket, szinonimákat és alá-/fölérendelt szavakat; kimenetként mindegyik szó párját vártuk visszakapni. A helyes választ a rendszernek mind a 30 szóhoz összesen 100 potenciális jelölt közül kellett kiválasztania. A pontosság maximális értéke (20 millió szavas korpusz feldolgozása után) 79% volt. A vektorokat a Magyar Webkorpuszból vett, annotációt nem tartalmazó szövegek segítségével állítottam elő, a vektorok kiszámítását és összehasonlítását saját fejlesztésű programmal végeztem