Evaluation of machine translation from German into Croatian

Razvoj tehnologije, informatizacija i modernizacija društva omogućili su, između ostalog, olakšavanje poslova prevođenja tekstova s jednoga jezika na drugi. Razni softverski programi, a također i online prevoditelji razvijeni su do visoke razine. Međutim, postavlja se pitanje koliko se zapravo korisnik takvih prevoditelja može osloniti na njih te je li ipak još uvijek potreban i ljudski faktor – osoba koja će takve prijevode kontrolirati i prepravljati. Diplomski rad donosi izračun BLEU i chrF++ računalne metrike za prijevode koji pripadaju trima vrstama teksta – recept, upute i vijesti. Tekstovi su prevedeni pomoću Bing i Google online prevoditelja s njemačkoga na hrvatski jezik, a uspoređivani su s ljudskim prijevodom tekstova. Također je nad prijevodima izvedena i ljudska evaluacija pomoću MQM metrike, a osim toga izvedeni su i izračuni Pearsonovog koeficijenta korelacije za varijable koje se odnose na rezultate BLEU i chrF++ metrike na razini rečenice te broja pogrešaka koje su otkrivene ljudskom evaluacijom, također na razini rečenice. Rezultati su pokazali da su strojni prevoditelji zaista na visokoj razini, međutim još uvijek se javljaju greške koje su ponekad ljudskom evaluatoru posve besmislene i neočekivane. Pogreške se javljaju u području sintakse, kao i u području semantike, zbog čega se korisnik strojnih prevoditelja još uvijek ne može u potpunosti „osloniti“ na njih