The assessment of machine/automatic translation quality through error typology.

Niniejsza praca ma na celu analizę problematyki tłumaczenia automatycznego, a w szczególności dokonanie oceny jego jakości w parze językowej angielski-polski. Do oceny wykorzystano cztery translatory: Google Translate, Systran, Translatica 7+ oraz English Translator xt Professional. Tłumaczenia wykonane przez powyższe systemy zostały ocenione metodą testu benchmarkowego oraz typologii błędów. W pierwszym rozdziale zdefiniowano tłumaczenie automatyczne i wyróżniono go spośród innych typów tłumaczeń, często ze sobą mylonych. Umiejscowiono go także na tle szerszej dziedziny, jaką jest lingwistyka komputerowa i przedstawiono jej najpopularniejsza narzędzia, używane także przez systemy tłumaczenia automatycznego. Drugi rozdział przedstawia historię prac nad rozwojem translatorów, od ich początków w XVII wieku, aż do obecnego stanu prac. W kolejnym rozdziale ukazano wszystkie typy translatorów, jakie są obecnie tworzone. Analiza obejmuje sposób ich działania oraz zalety i wady ich rozwiązań. W czwartym rozdziale przedstawiono trzy największe wyzwania, przed jakimi stoją twórcy systemów tłumaczenia maszynowego, a którymi są wieloznaczność, różnice gramatyczno- i leksykalno-semantyczne oraz idiomy i kolokacje. Na przykładach zostanie ukazane w jaki sposób i dlaczego, właśnie te zagadnienia są tak problematyczne. W kolejnej części opisano metodologię analizy zastosowaną w ostatnim rozdziale. Przedstawiono teksty, które będą podlegać tłumaczeniu oraz wykorzystane w tym celu translatory. Analiza, przeprowadzona przy pomocy dwóch metod – testu benchmarkowego oraz typologii błędów, znalazła się w ostatnim rozdziale. Zaprezentowane zostały błędy, jakie zostały popełnione w tłumaczeniu przez translatory, ich przyczyny oraz możliwe rozwiązania. Została także przeprowadzona ich analiza statystyczna. We Wnioskach zebrano rezultaty pracy oraz udzielono odpowiedzi na pytanie, który z testowanych translatorów osiągnął najlepsze rezultaty.The aim of the thesis is to analyze the field of automatic translation, and in particular, to evaluate its quality in English-Polish language pair. Four translators were used for evaluation: Google Translate, Systran, Translatica 7+ and English Translator xt Professional. The translations produced by the systems were graded with benchmark test and error typology methods. In the first chapter automatic translation was defined and distinguished from the other types of translations, which involve use of computers and which are often confused. Machine translation was placed in the context of a broader field, computational linguistics with its most popular tools. Second chapter describes the history of automatic translation developments – from the XVII century until nowadays. Next, all types of automatic translators, which are currently developed, were presented. The analysis includes their deficiencies and advantages. Fourth chapter describes three biggest challenges of automatic translations, which are ambiguity, grammatical- and lexical-semantic differences and idioms and collocations. The problems will be shown in various examples. Furthermore the methodology of analysis was presented as well as the details on translators and texts used. The last chapter introduces error analysis based on the benchmark test and error typology methods. The errors made by translators - their causes and possible solutions were presented, which served to prepare error occurence statistical analysis. The Conclusions gather the results of the thesis and answer the question which of the translators used proved to produce the best translations