Algorithms for measuring semantic similarity of texts

U ovom diplomskom radu biti će opisani postupci za mjerenje semantičke sličnosti tekstova povodom čega je napravljena i detaljna analiza postupaka za otkrivanje semantičkih sličnosti. Predstaviti ću i opisati metode i algoritme koji se koriste u svrhu određivanja sličnosti tekstova. Opisati ću i programski sustav koji će određivati sličnosti izvornih tekstova. Dva su osnovna pristupa u mjerenju semnatičke sličnosti tekstova; prvi se zasniva na korpusima (engl. corpusbased semantic similarity measures), dok se drugi pristup zasniva na znanju (engl. knowledgebased semantic similarity measures). Mjere semantičke sličnosti koje se zasnivaju na korpusima određuju stupanj sličnosti riječi/tekstova na temelju njihove povezanosti u velikim korpusima koje metoda koristi. To su mjere koje koriste ideju "slične riječi pojavljuju se u sličnom kontekstu". Mjere semantičke sličnosti koje se temelje na znanju koriste neke vanjske izvore kao što su, npr. WordNet ili ontologije kao znanje o leksičkim relacijama između riječi u tekstu. Iz tih izvora mogu se automatski dobiti skupovi sinonima koji se onda koriste za mjerenje sličnosti. U radu će biti opisana oba pristupa. Također, napraviti ću i usporedbu između odabranih pristupa (FuzzyWuzzy i WordNet) na skupu tekstualnih dokumenata kako bi se vidjeli njihovi rezultati kod određivanja sličnosti tekstova