Text Summarization Using Pointer-generator Neural Networks

U području automatiziranog sažimanja teksta razlikujemo dvije vrste pristupa sažimanju: ekstraktivno i apstraktivno. Arhitektura pokazivač-generator predstavlja kombinaciju tih pristupa jer neuronskoj mreži omogućuje odabir između preslikavanja izvornog ili stvaranja novog teksta. U ovom radu je predstavljen duboki model čiju osnovu čini koder-dekoder arhitektura. Na osnovni model dodani su i mehanizmi intra-temporalne i intra-dekoderske pažnje te mehanizam pokazivač-generator koji umanjuju nedostatke dosadašnjih apstraktivnih modela za sažimanje teksta. Kvalitativna analiza mjerom ROUGE pokazala je da ovaj model postiže znatno bolje rezultate od nekih apstraktivnih modela ispitanih na skupu podataka Gigaword. Izgrađeni je model izložen krajnjim korisnicima u obliku web primjenskog sustava.The pointer-generator architecture combines abstractive and extractive approaches to text summarization as it allows the neural network to choose between copying from the source or generating new words. In this thesis, a deep model based on an encoder-decoder architecture is presented. To reduce the shortcomings of the previous abstractive models, the mechanisms of intra-temporal and intra-decoder attention and the pointer-generator mechanism have been added to the baseline model. Qualitative analysis using the ROUGE measure showed that this model achieves considerably better results than some of the comparable models. The trained model is exposed to end users as a web application