Machine learning for automatic extraction of quotes from reviews : Using BERT, Inter-Sentence Transformer, and artificial neural networks

Att manuellt välja en eller flera meningar ur en filmrecension att använda som citat kan vara en tidskrävande uppgift. Denna rapport utvärderar övervakade maskininlärningsmodeller för att skapa en prototyp som automatiskt kan välja lämpliga citat ur recensioner. Utifrån resultatet av en litteraturstudie valdes två modeller att implementera och utvärdera på data bestående av filmrecensioner och tillhörande manuellt valda citat. Av arbetets två implementerade modeller, BERT med Inter-Sentence Transformer och BERT med ett artificiellt neuronnät, visade den sistnämnda marginellt bättre resultat. Modellerna utvärderades med ROUGE och jämfördes med tidigare studiers toppresultat inom automatisk textsummering. Slutsatsen är att de modeller som utvärderades inte presterar tillräckligt väl inom problemområdet för att motivera en driftsättning utan ytterligare utvecklingsarbete. Dock visar resultaten att det finns potential i att de utvärderade tillvägagångssätten delvis kan ersätta manuella val av citat i framtiden. To choose a number of sentences from a movie review to use as a quote can be time consuming if done manually. This thesis evaluates supervised machine learning models to create a prototype that automatically can choose such quotes. The thesis chose, based on a literature study, two models to implement and evaluate on data consisting of movie reviews and their respective corresponding manually chosen quotes. Out of the thesis two implemented models, BERT with Inter-Sentence Transformer and BERT with an artificial neural network, the latter showed marginally better results. The models were evaluated with ROUGE and was compared with state-of-the-art models regarding automatic text summarization. The conclusion is that the models that were evaluated do not perform well enough for the problem to motivate full deployment without further development efforts. However, the results show that there is potential that the evaluated methods can partially replace manual labour when choosing quotes.