Detecting and Grading Hateful Messages in the Norwegian Language

I dagens samfunn har det blitt stadig enklere å uttrykke sin mening gjennom utstrakt bruk av sosiale media og diskusjonsfora. Det har også blitt vanskeligere å forebygge nettmobbing og opprettholde trygghet på Internett på grunn av de store mengdene med brukergenerert data som blir publisert. Samtidig har forskning innen deteksjon av hatefulle ytringer økt betraktelig de siste årene. Hatefulle ytringer kan bli sett på som et bevisst angrep rettet mot en målgruppe basert på dens karakteristikker. Å manuelt filtrere og moderer slike ytringer vil ikke være effektivt nok, og dermed har automatisk deteksjon av hatefulle ytringer stadig blitt et viktigere forskningsområde. Det finnes flere utfordringer innen deteksjon av hatefulle ytringer, slik som mangelen på en universell definisjon av en hatefull ytring, et manglende felles datasett og at binær klassifisering, som tidligere har vært den mest brukte metoden, ikke representerer den virkelige verden på en god måte. Arbeidet i denne masteroppgaven har derfor som mål å undersøke metoder for å identifisere ytringer ved hjelp av multiklasse-klassifisering, og gradere dem basert på hvor støtende de er, i håp om å oppnå en mer saklig og nøytral tone i debatter og fora på nett. For å løse denne oppgaven har vi derfor utført et grundig litteratursøk relatert til deteksjon av hatefulle ytringer, eksisterende datasamlinger og ulike klassifiseringsmetoder for å oppnå verdifull innsikt. Basert på denne kunnskapen ble et stort datasett bestående av norske kommentarer fra ulike kilder samlet inn og annotert. Dette datasettet er et betydelig bidrag til forskningsområdet, ettersom et datasett av denne størrelsen ikke tidligere har eksistert. Både klassiske modeller og dype læringsmodeller med word embeddings har blitt brukt for å eksperimentere med datasettet i en alt-i-ett-metode og en to-stegsmetode. De eksperimentelle resultatene indikerer at to-stegsmetoden er fordelaktig når målet er å detektere så mange ikke-nøytrale kommentarer som mulig. Alle modellene slet likevel med å skille mellom de ulike kategoriene i det ubalanserte datasettet. Det beste resultatet ble oppnådd ved å kombinere klassiske og dype læringsmodeller. Basert på dette mener vi at det er et potensiale for fremtidig forskning å se på bruken av en dyp læringsmodell i første steg kombinert med en klassisk modell i andre steg. Videre er det også et behov for et mer balansert datasett som er utvidet med flere kommentarer i de groveste kategoriene