You Shall Know a Female Word by the Company It Does Not Keep

Språkmodeller som implementerer transformer-nettverk som en del av sin arkitektur for å representere ord i distribuerte vektorrom har revolusjonert feltet for naturlig språkprossessering. De har vist seg å inneholde mer informasjon om et ord enn noen annen teknikk i feltet. Desverre har mange studier vist den betydelige baksiden av å bruke slike avanserte språkmodeller i teknologi, hvor historiske stereotyper som at ``mann er til dataprogrammerer det kvinne er til hjemmeværende'' er gjemt i slike modeller. Med økt fokus og forsøk på å skape språkteknologi som fungerer på norsk, truer denne problemstillingen likestilling og den lovfestede retten til likebehandling innenfor våre landegrenser. Denne masteroppgaven er den første studien som oppdager, måler og fjerner kjønnsskjevhet i norske språkmodeller for å unngå og videreføre diskriminering gjennom digitaliseringen av Norge. Ved en eksperimentell metodikk oppdages kjønnsskjevhet i de toppmoderne norske språkmodellene som nylig har blitt utgitt av Universitetet i Oslo, Nasjonalbiblioteket og Google. Først blir ulike tilnærminger for å kvantifisere kjønnskjevheter i modellene prøvd ut. Resultatene fra disse viser at dataen som brukes til å trene norske språkmodeller inneholder mer enn tre ganger så mange mannlige pronomen som kvinnelige. Gjennom en tilpasset oppgave viser vi at mellom 76\% og 100\% av alle norske adjektiver er sterkere assosiert med mann enn kvinne i de ulike modellene, og at flertallet av alle adjektiv til og med har en sterkere tilknytning til mann enn det ordet 'kvinnelig' har til kvinne. Adjektiver som brukes for å beskrive kvinner er relatert til reproduksjon, skjønnhet, omsorg og sårbarhet. Modellene vurderer indetiske beskrivelser av en mann og kvinne ulikt, hvor nesten alle setningene er nærmere et manns navn i vektorromemet. Modellene reflekterer flere samfunnsmessige kjønnsskjevheter i resultatene sine, ofte så sterke at det overskygger en ekstrem mangel på evne til å produsere meningsfulle resultater på kvinnerelaterte eksempler. Ved å konstruere en realistisk oppgave fra virkeligeten hvor modellene vurderer søknader om finansiering basert på deres likhet med et sett vurderingskriterier, viser vi at modellene favoriserer mannlige søkere på en måte som resulterer i ulovlig diskriminering mot kvinnelige gründere. Videre er to teknikker for å fjerne kjønnsskjevhet i modellene testet ut og demonstrerer at fjerning av skjevheten er både mulig og nødvendig for norske språkmodeller. Den første teknikken identifiserer et underrom i vektorrommet som beskriver kjønn i modellen og fjerner dette ved å utføre ortogonal projeksjon. Dette viser seg å være en vellykket teknikk som fjerner deler av skjevheten. Den andre teknikken produserer en ny språkmodell ved å finjustere en av modellene på et datasett der mannlige ord er byttet ut med kvinnelige ord. Denne teknikken fungerte ikke for å fjerne skjevhet, og resulterte heller i at skjevheten ble tippet mot det kvinnelig kjønn. Resultatene viser imidlertid at en drastisk endring i kjønnsrepresentasjon i treningsdataen fører til en forskjell i skjevhet i modellen, noe som taler sterkt for at modellene burde mitigeres gjennom ny trening eller finjustering på rettferdige datasett. Begge resultatene indikerer at eksperimentene er bedre egnet for de enspråklige norske modellene enn en flerspråklig modell utgitt av Google, da denne gir tilsynelatende tilfeldige resultater gjennom hele oppgaven