Implementing machine translation and post-editing to the translation of wildlife documentaries through voice-over and off-screen dubbing : a research on effort and quality

Departament responsable de la tesi: Departament de Traducció i d'Interpretació i d'Estudis de l'Àsia OrientalAquesta tesi doctoral explora la possibilitat d'incloure la traducció automàtica i la traducció automàtica seguida de postedició en el procés de traducció de documentals científics de fauna i flora mitjançant veus superposades i doblatge en off. Per a aconseguir-ho, es van portar a terme tres estudis: El primer estudi investiga els reptes que hauríem de superar per a poder introduir la traducció automàtica en el procés de traducció de documentals. Ens basem en estudis anteriors sobre traducció mitjançant veus superposades i doblatge en off i sobre traducció de documentals (per exemple, Franco et al., 2010) per a determinar els esmentats reptes, així com en l'anàlisi d'un corpus de guions de documentals en anglès, un corpus de documentals en castellà i un corpus de segments de guions de documentals i 9 traduccions, 8 de les quals van ser fetes per diversos motors de traducció automàtica en línia i gratuïts, i l'altra va ser traduïda per un professional. A més, l'estudi introdueix possibles solucions als reptes, que fem servir a l'experiment que presentem en el segon estudi. El segon estudi se centra en un experiment per a determinar l'esforç necessari per a posteditar documentals científics de fauna i flora en comparació amb l'esforç requerit per a traduir-los. Dotze estudiants de màster van participar en l'experiment, que es va basar en la noció d'esforç de Krings (2001), així com en altres estudis sobre esforç de postedició (per exemple, O'Brien, 2006). Les conclusions de l'experiment indiquen que post-editar requereix menys esforç que traduir. El tercer estudi compara la qualitat de documentals post-editats i traduïts. Per a fer-ho, es van portar a terme dos experiments. En el primer, sis experts van avaluar la qualitat dels documentals que van fer els estudiants de màster durant l'experiment del segon estudi. Així, doncs, els experts van posar nota als documents, els van corregir mitjançant una classificació d'errors basada en MQM que inclou especificacions per a la traducció documentals, i van respondre qüestionaris d'acord amb la seva opinió sobre les traduccions corregides. Les conclusions de l'experiment indiquen que la qualitat de les post-edicions i de les traduccions són significativament semblants. En el segon experiment, 56 possibles usuaris van avaluar la qualitat dels documentals post-editats i traduïts mitjançant un qüestionari de recepció. Igual com va indicar l'avaluació dels experts, els resultats mostra que no hi ha diferencies significatives entre la qualitat dels documentals traduïts i els posteditats. Els estudis presentats en aquesta tesi doctoral, doncs, permeten aconseguir l'objectiu principal de la tesi: "investigar si es podria incloure, satisfactòriament, la traducció automàtica, en quant a esforç i qualitat, en el procés de traducció de documentals d'un subdomini específic (fauna i flora) mitjançant veus superposades i doblatge en off; i validar les dues hipòtesis principals de la tesi: "esperem que la inclusió de traducció automàtica en el procés de traducció de documentals de naturalesa mitjançant veus superposades i doblatge en off optimitzi el procés en quant a esforç" i "esperem que la inclusió de traducció automàtica en el procés de traducció de documentals científics de fauna i flora per veus superposades i doblatge en off no afecti significativament la qualitat del producte traduït".Esta tesis doctoral explora la posibilidad de incluir traducción automática y traducción automática seguida de post-edición en el proceso de traducción de documentales científicos de fauna y flora mediante voces superpuestas y doblaje en off. Para conseguirlo, llevamos a cabo tres estudios: El primer estudio investiga los desafíos que necesitamos superar para poder incluir la traducción automática en el proceso de traducción de documentales. Nos basamos en estudios anteriores sobre traducción mediante voces superpuestas y doblaje en off y sobre traducción de documentales (por ejemplo, Franco et al., 2010) para determinar los desafíos que nos podemos encontrar. También nos basamos en el análisis de un corpus de guiones de documentales en inglés, un corpus de documentales en español y un corpus de segmentos de guiones de documentales y sus nueve traducciones, ocho de las cuales fueron producidas por motores de traducción automática gratuitos y en línea, y otra traducción hecha por un traductor humano. Además, el estudio introduce posibles soluciones para estos desafíos, que usamos en el experimento presentado en el segundo estudio. El segundo estudio se centra en un experimento que pretende determinar el esfuerzo requerido para post-editar documentales de naturaleza comparado con el esfuerzo necesario para traducirlos. Doce estudiantes de máster participaron en el experimento, que se basó en la noción de esfuerzo de Krings (2001), así como otros estudios relacionados con esfuerzo de post-edición (por ejemplo, O'Brien, 2006). Las conclusiones del experimento parecen indicar que post-editar requiere menos esfuerzo que traducir. El tercer estudio compara la calidad de documentales post-editados y traducidos. Para hacerlo, se llevaron a cabo dos experimentos. En el primero, seis expertos evaluaron la calidad de los documentales hechos por los estudiantes durante el experimento: los expertos pusieron nota a los documentos, los corrigieron usando una clasificación de errores basada en el MQM que incluye especificaciones para la traducción de documentales, y respondieron unos cuestionarios sobre su opinión de las traducciones. Las conclusiones del experimento indican que la calidad de las post-ediciones y las traducciones son significativamente similares. En el segundo experimento, 56 posibles usuarios evaluaron la calidad de documentales post-editados y de documentales traducidos mediante un cuestionario de recepción. Igual como indicó la evaluación de los expertos, los resultados muestran que no hay diferencias significativas entre la calidad de los documentales traducidos y los post-editados. Los estudios presentados en esta tesis doctoral, pues, nos permiten conseguir el objetivo principal de la tesis: "investigar si se podría incluir la traducción automática de manera satisfactoria, en cuanto a esfuerzo y calidad, en el proceso de traducción de documentales de un subdominio específico (fauna y flora) mediante voces superpuestas y doblaje en off"; y validar las dos hipótesis principales de la tesis: "la inclusión de traducción automática en el proceso de traducción de documentales científicos de fauna y flora mediante voces superpuestas y doblaje en off optimizará el proceso en cuanto a esfuerzo" y "la inclusión de traducción automática en el proceso de traducción de documentales científicos de fauna y flora mediante voces superpuestas y doblaje en off no afectará significativamente la calidad del producto traducido".This PhD explores the possibility of introducing MT and PE MT into the process of translating wildlife documentaries to be voiced-over and off-screen dubbed. In order to do so, 3 studies have been carried out: The first stud researches the challenges that would need to be overcome if MT is to be included in the process of translating wildlife documentaries through VO and OD. The challenges are based on previous studies on the translation via VO and OD, and the translation of documentaries (e.g. Franco et al., 2010), as well as an analysis of a corpus of wildlife documentary scripts in English, a corpus of wildlife documentary scripts in Spanish, and a corpus of segments of documentary scripts and 9 translations: 8 produced by free-online MT engines and 1 by a human translator. Furthermore, it presents possible solutions to such challenges, which are used in the experiment presented in the second study. The second study presents and experiment that intends to determine the effort required to post-edit wildlife documentary films, as compared to the effort needed to translate them from scratch. 12 MA students participated in the experiment, which was based in Krings (2001) notion of PE effort, and previous experiments on PE effort (e.g. O'Brien, 2006). The conclusions of the experiments seem to indicate that PE requires less effort than translating them from scratch. The third study compares the quality of post-edited and translated wildlife documentaries. In order to do so, two experiments were carried out. The first one presents the QA, made by 6 experts, of the documentary scripts translated by MA students during the second study. The experts assessed the quality by grading the documents, by correcting them using an MQM-based error classification that includes specifications of documentary translation, and finally, by answering questionnaires on their opinions. Conclusions indicate that the quality of post-edited and translated wildlife documentaries is significantly similar. In the second experiment of the third study, 56 end-users blindly assessed the quality of post-edited and translated wildlife documentaries by using user-reception questionnaires. As well as the QA by experts, the results show that there is no significant difference between the quality of post-edited and translated documentaries. All the studies presented in this dissertation help to accomplish its main objective: "research whether MT might be successfully included, effort and quality wise, into the process of translating documentaries of a certain subdomain (wildlife) through VO and OD"; and validate its main hypotheses, which stand that "the inclusion of MT into the process of translating wildlife documentaries through VO and OD will optimize the process in terms of effort" and that "the inclusion of MT into the process of translating wildlife documentaries through VO and OD will not have significant impact on the quality of the translated product"