Write Like Me: Personalized Natural Language Generation Using Transformers

De nyeste og mest avanserte forhåndstrente språkmodellene med oppmerksomhetsbaserte dyp-læring-teknikker har revolusjonert feltet for språkteknologi. Slike språkmodeller har vist seg å være svært suksessfulle på en rekke oppgaver innen intelligent tekstanalyse og språkforståelse. Til tross for denne suksessen er det fortsatt mange aspekter tilknyttet disse modellene som må utforskes nærmere. Det også en økende interesse for personlig tilpasset språkgenerering. Derfor er formålet med denne studien å kombinere personlighetspsykologi med forhåndstrente språkmodeller for å generere korte tekster rettet mot sosiale medier, som er ment å etterligne skrivestilen til gitte personlighetstrekk, aldre og kjønn. Denne studien sammenligner prestasjonen til to ulike avanserte språkmodeller når det gjelder å generere personlig tilpasset språk. Modellene er henholdsvis en autoregressiv modell og en autoencoder modell. Det som skiller dem fra hverandre er hvordan de er forhåndstrent for å lære seg representasjonen av språk. Autoregressive modeller er trent opp ved å lære sammenhenger mellom hvilke ord som ofte etterfølger hverandre. På den andre siden lærer de autoencodede modeller seg språkrepresentasjon ved å gjentatte ganger bli eksponert for tekster hvor enkelte ord er plukket ut og hvor modellen da blir bedt om å sette inn passende ord i hullene. Dette er den første studien som sammenligner flere forhåndstrente språkmodeller med oppmerksomhetsbaserte dyp-læring-teknikker på generering av personlig tilpasset naturlig språk. Det er også den første studien innen personlig tilpasset språkgenerering som benytter femfaktormodellen for å representere personlighet. Resultatene tilsier at autoregressive modeller er bedre enn autoencoder-modeller for personlig tilpasset språkgenerering. Den autoregressive modellen oppnådde bedre resultater både med hensyn til å generere grammatisk korrekt tekst og tekst som gir mening. Samtidig evner den autoregressive modellen også å generere tekster som bevarer karakteristikker for spesifikke personlighetstrekk, aldre og kjønn. Til tross for dette er det en stor mangel på formålstjenlige metoder for å evaluere personlig tilpasset generert språk. Det medfører en betydelig ulempe innen feltet da det gjør det svært utfordrende å sammenligne resultater på tvers av studier ettersom man ikke er enige om hvilke metoder som bør benyttes for å måle prestasjoner. Denne studien foreslår og benytter en evalueringsprosedyre som er basert på suksesser innen automatisk prediksjon av personlighet og forfatteridentifisering. Forskningen som er gjennomført er det første steget mot personlig tilpasset språkgenerering, som igjen er grunnlaget for intelligente, personlige tilpassede skriveassistenter. Denne studien er gjort på tekst fra sosiale medier, men personlig tilpasset språkgenerering kan overføres til alle domener