An Exploration of Bias and Fairness in Algorithmic Decision-Making Systems

Algoritmiske beslutningssystemer benyttes både i offentlig og privat sektor, blant annet til behandling av lånesøknader, ved høyskoleopptak, ansettelser, til å bestemme hvem som skal få medisinsk behandling, og i domstolene. Systemene brukes både som autonome beslutningstakere og til beslutningsstøtte. Med tanke på hvor stor innflytelse på menneskers liv algoritmene har, er det av viktig de tar etisk forsvarlige beslutninger. Uheldigvis er det en kjent sak at algoritmiske beslutningssystemer påvirkes av bias som kan gjøre beslutningene deres diskriminerende eller urettferdige overfor grupper av befolkningen. Som svar på dette har "fair" maskinlæring oppstått som et aktivt forskningsområde, med mål om å forhindre utilsiktet bias i algoritmene. Forskere fra mange ulike fagområder bidrar, blant annet fra jus, etikk, filosofi, informatikk, statistikk, maskinlæring og samfunnsfag. Siden disse fagområdene mangler felles terminologi, er fair ML-litteraturen tidvis kaotisk og uoversiktlig. I denne masteroppgaven fyller vi et hull i fair ML-litteraturen ved å skape en omfattende oversikt over hvilke vanlige bias-typer som kan påvirke algoritmene. Det er også kjent fra forskning at det å gjøre algoritmer mer rettferdige ofte reduserer deres prediksjonsnøyaktighet. Dermed tvinges ingeniører og beslutningstakere til å gjøre trade-offs mellom nøyaktighet og rettferdighet. Vi utforsker disse trade-offsene ved å optimalisere for nøyaktighet og rettferdighet samtidig, og lage en Pareto-front for resultatene ved hjelp av den genetiske algoritmen NSGA-II. Våre funn viser at programvarepakker og metoder for bias-reduksjon gir signifikante reduksjoner i prediksjonsnøyaktighet, men også at man ofte kan oppnå meget store økninger i rettferdighet gjennom å ofre ganske lite prediksjonsnøyaktighet