Machine translation from Brazilian Portuguese to Brazilian Sign Language and analysis of intensification processes

Orientadores: José Mario De Martino, Plínio Almeida BarbosaTese (doutorado) - Universidade Estadual de Campinas, Faculdade de Engenharia Elétrica e de ComputaçãoResumo: A tradução automática refere-se às abordagens computacionais que permitem traduzir uma língua natural em outra. Em relação à tradução de textos, existem diferenças nos sistemas que buscam solucionar problemas de tradução entre línguas orais e aqueles que lidam com a tradução entre línguas orais e línguas de sinais. Uma delas é o fato de as línguas de sinais serem visuoespaciais e possuírem léxico formado por sinais constituídos de cinco parâmetros que são: configuração, localização e movimento das mãos, orientação da palma e expressões não manuais (expressão facial e movimentos do corpo). Existem várias abordagens que tentam transcrever os sinais representando os principais aspectos desses parâmetros. Porém, não há um consenso por uma transcrição específica, diferentemente das línguas orais em que a escrita alfabética e o sistema de notação fonética são utilizados e amplamente aceitos. Em vista disso, é importante que uma tradução automática para uma língua de sinais reproduza satisfatoriamente a modalidade gestual, visual e espacial, por exemplo, através de um avatar 3D que sinalize o conteúdo traduzido. Neste trabalho, propõe-se um sistema-piloto de tradução de Português Brasileiro (PB) para Língua de Sinais Brasileira (Libras) baseado em regras, almejando que a última fase do processo de tradução seja a sinalização por um avatar realista e expressivo. As regras de tradução foram formalizadas e implementadas a partir da análise de um corpus paralelo PB-Libras composto de um livro didático do ensino fundamental. Vale destacar que os tradutores de PB Libras atuais negligenciam aspectos importantes em seus avatares, principalmente relacionados à realização de diferentes tipos de sentenças, ao uso de expressões não manuais (ENMs) e da intensificação de sinais. Com o objetivo de alcançar uma sinalização mais inteligível e natural, foi construído um corpus para o estudo dos processos de intensificação em Libras e identificação das ENMs significativamente presentes em tipos distintos de sentenças. Assim, é proposta uma metodologia para análise e classificação de sinais considerando a intensificação de adjetivos e verbos e a pluralização de substantivos. Os resultados desta pesquisa contribuem para o avanço das pesquisas em línguas de sinais, para a modelagem de avatares expressivos sinalizadores de Libras e formalização de regras de tradução envolvendo tais processos. Uma aplicação dessa tecnologia pode auxiliar no ensino e aprendizagem de estudantes surdos e proporcionar mais acessibilidade às informações de materiais escritos em PBAbstract: Machine translation refers to computational approaches that allow one natural language to be translated into another. As regards text translation, there are differences between systems that seek to solve problems of translation between oral languages and those dealing with translation between oral and sign languages. One of these differences is that sign languages are visuospatial and their lexicon is composed of signs consisting of five parameters: configuration, location and movement of the hands, palm orientation and non-manual expressions (facial expression and body movements). There are several approaches to sign transcription that attempt to represent the main aspects of these parameters. However, there is no consensus for a specific transcription, unlike oral languages for which alphabetic writing and phonetic notation are used and widely accepted. In view of this, it is important that a machine translation system to sign languages satisfactorily reproduces the spatial, gestural and visual mode, for example, through a 3D avatar that will sign the translated content. In this thesis, a rule-based pilot system of Brazilian Portuguese (BP) to Brazilian Sign Language (Libras) is proposed that aims the signing by a realistic and expressive avatar as the last step of the translation process. The rules of translation were formalized and implemented from the analysis of a parallel BP-Libras corpus composed of material from a K-12 textbook. It is worth mentioning that current BP-Libras translators neglect important aspects in their avatars, mainly related to the appropriate translation of different types of sentence, the use of non manual expressions (NMEs) and taking into account intensification processes. In order to achieve a more intelligible and natural signing, a corpus was built to study the intensification processes in Libras and to identify the NMEs that are present in different types of sentences. Therefore, a methodology for sign analysis and classification is proposed that consider the intensification of adjectives and verbs and nouns¿ pluralization. Our findings contribute to the advancement of sign language research, to the modeling of expressive signing avatars in Libras and to the formalization of translation rules involving such processes. An application of this technology can help the teaching and learning of deaf students and provide more accessibility to information of materials written in BPDoutoradoEngenharia de ComputaçãoDoutor em Engenharia Elétrica88882.160565/2017-1CAPE