End-to-end Speech Translation with Self-supervised Speech Representations

For years speech translation has been faced as concatenation of speech recognition and machine translation. The powerful architectures of deep learning has made end-to-end speech translation feasible. The student will have to use the encoder-decoder architecture based on Transformer to build multilingual speech translation systems.Nowadays, there is a growing interest in the field of Speech Translation (speech-to-text). Traditionally, this task has been faced with the concatenation of Automatic Speech Recognition and Machine Translation modules. Nevertheless, in the last few years, many researchers have proposed the use of an end-to-end approach, in which the speech is not transcripted but directly translated into the target language. Furthermore, there is a notable research trend in the use of self-supervision techniques to train speech encoders. These systems do not need human-annotated data for training, and they can extract much richer speech representations than other traditional methods. In this project, we explored the use of three pre-trained speech encoders (PASE+, APC and Wav2Vec) to improve end-to-end ST, using a Transformer as the core of our model. We trained it with the English-French split of the MuST-C corpus, comprising 492h of speech, and we developed our code on top of Fairseq, creating a repository which will facilitate our group's future research in ST. Our system did not achieve the results of the baseline, but we think that there is still room for improvement, and we believe we will be able to compete with state-of-the-art ST systems using pre-trained speech encoders in the future.Actualment, hi ha un inter es creixent en el camp de la traducci o de la parla (de veu a text). Tradicionalment, aquesta tasca s'ha resolt concatenant m oduls de reconeixement de veu i de traducci o autom atica. Ara b e, els ultims anys molts investigadors han proposat l' us d'una estructura de traducci o directa, en la que la veu es tradueix sense necessitat d'obtenir la transcripci o intermitja. A m es, hi ha un important corrent d'investigaci o en l' us de t ecniques d'autosupervisi o per entrenar codi cadors de la parla. Aquests sistemes no necessiten dades etiquetades per humans per entrenar-se, i poden extreure representacions de la parla molt m es riques que altres m etodes tradicionals. En aquest projecte, hem explorat l' us de tres codi cadors pre-entrenats (PASE+, APC i Wav2Vec) per millorar els sistemes de traducci o directa de la parla, utilitzant un Transformer com a component central del nostre model. L'hem entrenat amb la partici o Angl es-Franc es del corpus MuST-C, que cont e 492h de veu enregistrada, i hem desenvolupat el nostre codi sobre Fairseq, creant un repositori que facilitar a la investigaci o futura del nostre grup en aquest camp. El nostre sistema no ha aconseguit equiparar-se amb els resultats del sistema de refer encia, per o pensem que encara tenim marge de millora, i creiem que en el futur serem capa cos de competir amb sistemes punters, utilitzant codi cadors de la parla pre-entrenats.Actualmente hay un creciente inter es en el campo de la traducci on del habla (de voz a texto). Tradicionalmente, esta tarea se ha afrontado concatenando m odulos de reconocimiento de voz y de traducci on autom atica. Sin embargo, en los ultimos a~nos muchos investigadores han propuesto el uso de una estructura de traducci on directa, en la cual la voz se traduce sin necesidad de obtener la transcripci on intermedia. Adem as, hay una importante corriente de investigaci on en el uso de t ecnicas de autosupervisi on para entrenar codi cadores del habla. Estos sistemas no necesitan datos etiquetados por humanos para su entrenamiento, y pueden extraer representaciones del habla mucho m as ricas que otros m etodos tradicionales. En este proyecto, hemos explorado el uso de tres codi cadores pre-entrenados (PASE+, APC yWav2Vec) para mejorar los sistemas de traducci on directa del habla, usando un Transformer como componente central de nuestro modelo. Lo hemos entrenado con la partici on Ingl es- Franc es del corpus MuST-C, que contiene 492h de voz, y hemos desarrollado nuestro c odigo sobre Fairseq, creando un repositorio que facilitar a la investigaci on futura de nuestro grupo en la traducci on del habla. Nuestro sistema no ha conseguido equipararse con los resultados del sistema de referencia, pero pensamos que a un tenemos margen de mejora, y creemos que en el futuro seremos capaces de competir con sistemas punteros, usando codi cadores del habla pre-entrenados