A study on decoding approaches in machine translation

Sinirsel makine çevirisi, daha akıcı çeviriler yapabilmek gibi önemli özelliklerle oldukça popüler hale gelmiştir ve daha önce kullanılan istatistiksel makine çevirisinin yerini almıştır. Ancak sinirsel makine çevirisi sistemleri bazen kullandıkları çözümleme tekniğinin doğası gereği akıcı çeviriler için doğruluktan ödün vermektedir. Çözümleme, makine çevirisinin önemli bir parçasıdır ve burada kullanılan en popüler çıkarım algoritması demet aramadır. Bununla birlikte, demet genişliği arttıkça, sinirsel makine çevirisi çözmemesinde belirli bir noktadan sonra çeviri performansı düşmeye başlamaktadır. Bu sorun kullandığı yerel çözümleme yöntemi nedeniyle istatistiksel makine çevirisinde gözlenmez. Ayrıca, sinirsel makine çevirisinin doğası gereği, çözümlemenin başlangıcında doğru seçimler yapılamazsa, hata birikmesi yaşanabilmektedir. Bu tez, bahsedilen problemleri çözmek amacıyla sinirsel makine çevirisine yeni bir çözümleme yaklaşımı getiren iki farklı yöntem önermektedir. İlk olarak, sinirsel makine çevirisinde çözümlemede kullanılan demet arama algoritmasında kalite bozulmasını önlemek için istatistiksel makine çevirisi tahminlerini kullanan melez sistem tabanlı bir yöntem önerilmektedir. Yaklaşım temel olarak sinirsel makine çevirisinin en iyi aday listesini yeniden sıralamaya dayanmaktadır. İkinci olarak, istatistiksel makine çevirisi sistemlerinin çıktı cümlelerini kullanarak sinirsel makine çevirisine çözümleme işlemine rehberlik eden farklı bir yaklaşım sunulmaktadır. Deneylere göre, önerilen yöntemler sinirsel makine çevirisi sistem çevirilerinin kalitesini artırmaktadır.Neural machine translation have become very popular with essential features such as more fluent translations and replaced the previously used statistical machine translation. However, sometimes neural machine translation systems give up accuracy for fluent translations due to the nature of the decoding technique they use. Decoding is an important part of machine translation and the most popular inference algorithm used here is beam search. However, as the beam width increases, the translation performance begins to decline after a certain point in neural machine translation decoding. This problem is not observed in statistical machine translation due to the locally decoding method. Also, due to the nature of neural machine translation, if the right choices cannot be made at the beginning of the decoding, errors may accumulate. This thesis proposes two different methods to bring a new decoding approach for neural machine translation to solve the problems mentioned. First, a hybrid system-based method is proposed that uses statistical machine translation predictions to prevent quality deterioration in the beam search algorithm used in neural machine translation decoding. The approach is mainly based on the reranking n-best list of neural machine translation. Secondly, a different approach by guiding neural machine translation decoding using the output sentences of the statistical machine translation systems is presented. According to experiments, proposed methods improve the quality of neural machine translation system translations