Inflytande av sentiment i frågebesvarande system

The task of a question answering (QA) system is to automatically answer questions asked by humans, expressed in a natural language. In recent years, platforms, where QA systems are applicable, have emerged on the web and gained in popularity. Related to the answering of complex questions, with subjective or ambiguous answers, there is a growing interest in understanding how semantic features can be utilized further to enhance the capability of the systems. In this thesis, it was investigated how sentiment information contained in questions and answers influenced the performance of a QA system built using logistic regression. In addition to the sentiment model, an additional baseline model, which did not consider sentiment, was constructed and used as a reference point for evaluation. The models were trained and tested on the popular Stanford Question Answering Dataset 2.0 and evaluated using accepted metrics for measurement of search-effectiveness. The results show that there was a slight but valuable increase in precision, suggesting that the sentiment model’s ability to detect non-answers was improved. The experiments also showed that differences in sentiment intensity between a question and a candidate answer lowered the probability that the candidate answer was correct. The increased performance encourages a more in-depth and detailed analysis of how sentiment can be efficiently utilized to improve and understand QA systems further.Uppgiften för ett frågebesvarande system är att automatiskt besvara frågor uttryckta i ett naturligt språk. De senaste åren har plattformar, där frågebesvarande system är tillämpbara, vuxit fram och blivit allt mer populära. I takt med detta har det även uppstått ett ökat intresse för att förstå hur sentiment kan användas för att förbättra frågebesvarande systems förmåga att besvara komplexa frågor med tvetydiga eller subjektiva svar. I denna uppsats undersöktes inflytandet som sentiment i frågor och svar hade på ett frågebesvarande system byggt med logistisk regression. Utöver sentimentmodellen byggdes även en baslinjemodell som inte tog hänsyn till sentiment. Denna modell användes som referens för att utvärdera sentimentmodellens förmåga. Båda modellerna var tränade och testade på datasetet Stanford Question Answering Dataset 2.0 och utvärderade med hjälp av välkända metoder för att evaluera sökeffektivitet. Resultaten visade en liten, men värdefull, ökning i precision, vilket tyder på att sentimentmodellens förmåga att upptäcka icke-svar förbättrades. Experimenten visade även att en skillnad i sentimentintensitet mellan en fråga och ett potentiellt svar sänkte sannolikheten att svaret var rätt. Den ökade förmågan uppmuntrar till fortsatt djupare analys för att förstå hur sentiment kan användas för att förbättra frågebesvarande system