Generative Adversarial Networks in Text Generation

The Generative Adversarial Network (GAN) was firstly proposed in 2014, and it has been highly studied and developed in recent years. It has obtained great success in the problems that cannot be explicitly defined by a math equation such as generating real images. However, since the GAN was initially designed to solve the problem in a continuous domain (image generation, for example), the performance of GAN in text generation is developing because the sentences are naturally discrete (no interpolation exists between “hello" and “bye"). In the thesis, it firstly introduces fundamental concepts in natural language processing, generative models, and reinforcement learning. For each part, some state-of-art methods and commonly used metrics are introduced. The thesis also proposes two models for the random sentence generation and the summary generation based on context, respectively. Both models involve the technique of the GAN and are trained on the large-scale dataset. Due to the limitation of resources, the model is designed and trained as a prototype. Therefore, it cannot achieve the state-of-art performance. However, the results still show the promising performance of the application of GAN in text generation. It also proposes a novel model-based metric to evaluate the quality of summary referring both the source text and the summary. The source code of the thesis will be available soon in the GitHub repository: https://github.com/WangZesen/Text-Generation-GAN.Det generativa motståndsnätverket (GAN) introducerades först 2014 och det har studerats samt utvecklats starkt under senare år. GAN har uppnått stor framgång för problem som inte kan definieras uttryckligen av en matematisk ekvation, som att generera riktiga bilder. Men eftersom GAN ursprungligen var utformat för att lösa problemet i en kontinuerlig domän (till exempel bildgenerering), utvecklas GAN:s prestanda i textgenerering eftersom meningarna är naturligt diskreta (ingen interpolering finns mellan “hej" och “hejdå"). I examensarbetet introduceras grundläggande begrepp i naturlig språkbearbetning, generativa modeller och förstärkningslärande. För varje del introduceras några bästa tillgängliga metoder och vanligt förekommande mätvärden. Examensarbetet föreslår också två modeller för slumpmässig meningsgenerering respektive sammanfattningsgenerering baserat på sammanhang. Båda modellerna involverar tekniken för GAN och är tränade på storskaliga datamängder. På grund av begränsningen av resurser är modellen designad och tränad som en prototyp. Därför kan den inte heller uppnå bästa möjliga prestanda. Resultaten visar ändå lovande prestanda för tillämpningen av GAN i textgenerering. Den föreslår också en ny modellbaserad metrik för att utvärdera kvaliteten på sammanfattningen som hänvisar både till källtexten och sammanfattningen. Examensarbetets källkod kommer snart att finnas tillgänglig i GitHubförvaret: https://github.com/WangZesen/Text-Generation-GAN