Identifiering av handlingsrelaterade dialoghandlingar i möten

This thesis aims to determine the dialogue acts such as action items, decisions and ideas put forth in multi-party meetings or dialogues. Conversational meetings can generally contain several such dialogue acts and pinpointing them might not be a straight-forward operation. At times, it may be as simple as "The business team will come up with a plan" or as ambiguous as "Let us go with his design". Due to such regularly occurring instances where the context of the sentence plays a crucial factor and due to the small quantity of available data, it is challenging to apply traditional neural models on them. Natural language processing, of late, has evidenced many innovations and advances, one of them being the pre-trained language models. These off-the-shelf available language models are trained on huge amounts of data and can be applied to an array of natural language processing tasks, with almost none to little training (fine-tuning). This thesis investigates the viability of one such language model called "Bidirectional Encoder Representations from Transformers (BERT)" in the task of identifying dialogue acts. Lately, BERT based models have proved their worth by excelling in several natural language processing tasks and scoring state-of-the-art performances. Although, they have not yet been applied to the area of meetings and dialogue acts. Results show that BERT based models have outperformed the current state-of-the-art models yet again and by a definitive margin. This exhibits the versatility of BERT and corroborates its recent success in the field. It also opens new doors, which were earlier not possible, in the area of multi-party meetings and more generally, other fields of natural language processing. Another intriguing aspect of language models like BERT is the absence of dependency between the pre-trained data and the fine-tuned data. This thesis creates a steppingstone for further research on conversational meetings and dialogues employing pre-trained language models.Den här uppsatsen fokuserar på att bestämma dialoghandlingar så som handlingar, beslut och idéer som presenteras i flerpartsmöten eller dialoger. Konversationsmöten kan i allmänhet innehålla flera sådana dialoghandlingar och det kan vara utmanande att identifiera dem. Ibland kan det vara så enkelt som Företagsteamet kommer med en plan" eller så tvetydigt som Låt oss köra på hans design". På grund av sådana regelbundet förekommande fall där kontexten av meningen är en avgörande faktor och på grund av den lilla mängden tillgängliga data, är det utmanande att tillämpa traditionella neurala nätverks modeller på dem. På senare tid har naturlig språkbehandling sett många innovationer och framsteg, en av dem är de förtränade språkmodellerna. Dessa lättillgängliga språkmodeller är tränade på enorma mängder data och kan tillämpas på en mängd naturliga språkbehandlingssuppgifter, med nästan ingen till liten träning (finjustering). Den här uppsatsen undersöker möjligheten hos en sådan språkmodell som kallas Bidirectional Encoder Representations from Transformers (BERT)"i uppgiften att identifiera dialoghandlingar. På senare tid har BERT-baserade modeller visat sitt värde genom att utmärka sig i flera naturliga språkbehandlingssuppgifter och med prestanda i forskningsfronten. Däremot har de inte tillämpats på området för möten och dialoghandlingar. Resultaten visar att BERT-baserade modeller har överträffat de nuvarande moderna modellerna igen och med en signifikant marginal. Detta visar BERTs mångsidighet och bekräftar att den senaste framgången i området. Det öppnar också nu dörrar, som tidigare inte var möjliga, inom området för flerpartsmöten och mer allmänt andra områden för naturligt språkbehandling. En annan spännande aspekt av språkmodeller som BERT är frånvaron av beroende mellan förtränad data och finjusterad data. Den här uppsatsen skapar ett steg för ytterligare forskning om analys av möten och dialoger med förtränade språkmodeller