Syntéza českého znakového jazyka založená na neuronových sítích

Tento článek popisuje naši syntézu českého znakového jazyka, která převádí český text do řady skeletálních pozic. Naším hlavním cílem je vyhnout se náročným ručně vytvořeným anotacím videí a vyhnout se ručnímu mapování mezi glosáři znakové řeči a kosterními pozicemi. Namísto samostatného řešení těchto úkolů jsme se tedy připojili k modelu implicitního překladače založeného na neuronových sítích a modelu mapování mezi glosáři znakového jazyka a oba modely společně trénujeme. Za tímto účelem navrhujeme jednoduchou diferencovatelnou operaci, která rozkládá vstupní symboly a umožňuje vytvářet požadované série bez jakéhokoli opakujícího se mechanismu. Použili jsme sadu nástrojů OpenPose k automatickému extrahování pozic skeletu a navrhli jsme algoritmus založený na gradientu sestupu, který převádí 2D model skeletu na 3D model skeletu, aby se opravily nesprávně umístěné a chybějící klouby. Části předpovědi počasí Denní zprávy v českém znakovém jazyce byly použity k získání našich tréninkových a testovacích údajů. Naše experimenty prokazují přínos implicitního překladače a schopnost navrženého systému syntézy znakového jazyka produkovat přirozeně vytvořené skeletální pozice.This paper describes our Czech sign language synthesis that converts a Czech text into a series of skeletal poses. Our main goal is to avoid demanding handcrafted annotations of videos and to avoid a manual mapping between sign language glosses and skeletal poses. Thus, instead of solving these task separately, we join a model of an implicit neural-network-based translator and a model of the mapping between sign language glosses and we train both models together. For this purpose, we propose a simple differentiable operation that decomposes input symbols and it allows to produce a required series without any recurrent mechanism. We used The OpenPose toolbox to automatically extract skeletal poses and we designed a gradient-descend-based algorithm that converts a 2D skeleton model to a 3D skeleton model in order to fix misplaced and missing joints. Weather forecast parts of The daily news in Czech sign language were used to obtain our training and testing data. Our experiments demonstrate the benefit of the implicit translator and an ability of the designed sign language synthesis system to produce naturally formed skeletal poses