Investigating the Cost of Fairness in Automated Decision-Making Systems

I denne masteroppgaven undersøker vi bruken av multi-objektiv optimalisering (multi-objective optimization) og Pareto fronter for å utforske konsekvensen rettferdighet kan ha på riktigheten i automatiske beslutningssystemer. Kunstig intelligens (KI/AI) systemer blir mer og mer brukt i flere deler av samfunnet verden rundt, både i privat og offentlig sektor. Disse systemene tar ofte avgjørende beslutninger for menneskers liv, på områder som helse, rettsprosesser, ansettelsesprosesser, kredittscore kalkulering, låneinnvilgelse, med mer. Ofte har slike automatiske beslutningssystemer vist seg å reprodusere eller øke menneskelige fordommer, til og med introdusere nye i noen tilfeller. Slike funn har ført til en fremtreden av forsking på områder som omhandler rettferdighet og diskriminering i AI systemer. På dette området er det stort sett konsensus om at å forsøke å gjøre slike systemer mer rettferdige fører til at riktigheten til systemet synker. Multi-objektiv optimalisering (MOO) er en metode for å optimalisere løsninger for flere formål. Bruken av Pareto fronter er en populær metode for å kombinere slike formål. Frontene presenterer brukere ett sett med de beste mulige løsningene, hvor en løsning kan velges basert på ønsket utbytte mellom formålene. Denne masteroppgaven bygger på arbeid av Haas [2019], som utviklet et rammeverk som bruker MOO og Pareto fronter for å utforske kostnaden rettferdighet har på riktigheten til AI systemer. Rammeverket krever valg av datasett, rettferdighet- og riktighetsmetrikker, og klassifiseringsalgoritmer og diskrimineringsforebyggende metoder. Disse blir brukt til å bygge AI modeller som kan evalueres ved å studere Pareto frontene de produserer. Hovedbidraget til denne masteroppgaven er todelt. Vi bidrar til å verifisere rammeverket til Haas, ved å anvende et annet datasett og bruke flere diskrimineringsforebyggende metoder. Resultatene våre generaliserer bruken av MOO og Pareto fronter som en metode for å undersøke kostnaden av rettferdighet. I tillegg presenterer vi en ny metode og arkitektur videreutviklet fra Haas sin metode. Denne nye metoden tilbyr samme muligheter for undersøking av kostnaden av rettferdighet, men kan bli anvendt på eksiterende AI systemer som allerede har blir trent for optimal riktighet uten å ta rettferdighet i betraktning. Denne metoden og dens arkitektur bygger på aktuell forskning