Jämförelse av IBM Model 4-alignment : En jämförelse av hur storleken på träningsdata påverkar tolkningsnoggrannheten och träningstiden för två alignment-modeller som översätter naturligt språk

In modern society the amount of information processed by computers is increasing everyday. Computer translation has the potential to speed up communication between humans as well as human-computer interactions. For Statistical Machine Translation word alignment is key. How large does a corpus need to be to align a natural language sentence with a simple unambiguous language? We investigate this matter by running a simple algorithm and comparing it to the results we get from an industry equivalent. The results show that the size of the corpus needs to be larger for the simplified model when there is a greater number of words per sentence. The IBM Model 4 conversely shows that the more words per sentence decrease the necessary size of the corpus to make better predictions.Thus we can conclude that corpus size is dependant on the number of terms in each sentence for both models.I vårat moderna samhälle bearbetas mer information för varje dag. Datoriserad översättning har potentialen att öka hastigheten utav kommunikationen mellan människor emellan samt människa-datorinteraktion. För Statistical Machine Translation så är word alignment en stor del. Hur stor måste en korpus vara för att man med stor sannolikhet lyckats att korrekt översätta meningar från ett naturligt språk med ett simpelt entydigtspråk?Vi testar detta genom att jämföra en simpel algorithm med en algoritm som används inom industrin. I resultaten ser vi att ju mer ord som finns i meningen som ska översättas, ju större måste korpusen vara. Med IBM Model 4 ser vi att resultaten blir bättre med ju fler ord per mening och därför kan korpusstorleken minskas. Vår slutsats är att korpus storleken beror på mängden aritmetiska termer för båda modellerna