Predicting Text Readability using Natural Language Processing Methods

Čitljivost teksta je definirana kao lakoća kojom čitatelj može razumjeti pisani tekst. Formule za čitljivost su tradicionalno bile korištene za određivanje čitljivosti teksta. Posljednih godina, ljudi su počeli koristiti methode obrade prirodnog jezika zajedno sa strojnim učenjem za rješavanje ovog problema -- ovo je pristup koji je korišten u ovom radu. Metode obrade prirodnog jezika su korištene za ekstrakciju relevantnih značajki iz teksta. Te značajke su dane na ulaz nekoliko modela zasnovanih na strojnom učenju koji predviđaju razinu čitljivosti. Ti modeli su evaluirani na WeeBit skupu podataka. Uspoređeni su jedan s drugim te s tradicionalnim formulama korištenjem statističkih testova. Testovi su pokazali da modeli zasnovani na strojnom učenju postižu bolje rezultate od tradicionalnih formula za čitljivost.Text readability is defined as the ease with which a reader can understand a written text. Traditionally, readability formulas have been used to determine the readability of a text. In recent years, people have started to use natural language processing (NLP) methods coupled with machine learning to solve this task -- this is the approach used in this work. NLP methods have been used to extract relevant features from a text. These features are given as an input to several machine learning models which predict readability level. The models were evaluated on the WeeBit dataset. They have been compared with each other and with traditional formulas using statistical significance testing. The tests showed that machine learning models outperform traditional readability formulas