Identifikace relevantních a redundantních automatických metrik pro MT evaluaci

The paper is aimed at automatic metrics for translation quality assessment (TQA), specifically at machine translation (MT) output and the metrics for the evaluation of MT output (Precision, Recall, F-measure, BLEU, PER, WER and CDER). We examine their reliability and we determine the metrics which show decreasing reliability of the automatic evaluation of MT output. Besides the traditional measures (Cronbach’s alpha and standardized alpha) we use entropy for assessing the reliability of the automatic metrics of MT output. The results were obtained on a dataset covering translation from a low resource language (SK) into English (EN). The main contribution consists of the identification of the redundant automatic MT evaluation metrics.Tento článek je zaměřen na automatické metriky pro hodnocení kvality překladu (TQA), konkrétně na výstup strojového překladu (MT) a metriky pro hodnocení MT výstupu (přesnost, vzpomínáte, F-opatření, BLEU, PER, WER a CDER). Zkoumáme jejich spolehlivost a určíme metriky, které ukazují klesající spolehlivost automatického hodnocení MT výstup. Kromě tradiční opatření (Cronbach si alfa a standardizované alfa) používáme entropie pro posuzování spolehlivosti automatické metriky MT výstupu. Výsledky byly získány na dataset pokrývající překlad z nedostatku prostředků jazyka (SK) do anglicky (EN). Hlavním přínosem je tvořena identifikace redundantní automatické MT hodnocení metriky