Investigating the Cost of Fairness in Automated Decision-Making Systems

Abstract

I denne masteroppgaven undersøker vi bruken av multi-objektiv optimalisering (multi-objective optimization) og Pareto fronter for å utforske konsekvensen rettferdighet kan ha på riktigheten i automatiske beslutningssystemer.

Kunstig intelligens (KI/AI) systemer blir mer og mer brukt i flere deler av samfunnet verden rundt, både i privat og offentlig sektor. Disse systemene tar ofte avgjørende beslutninger for menneskers liv, på områder som helse, rettsprosesser, ansettelsesprosesser, kredittscore kalkulering, låneinnvilgelse, med mer. Ofte har slike automatiske beslutningssystemer vist seg å reprodusere eller øke menneskelige fordommer, til og med introdusere nye i noen tilfeller. Slike funn har ført til en fremtreden av forsking på områder som omhandler rettferdighet og diskriminering i AI systemer. På dette området er det stort sett konsensus om at å forsøke å gjøre slike systemer mer rettferdige fører til at riktigheten til systemet synker.

Multi-objektiv optimalisering (MOO) er en metode for å optimalisere løsninger for flere formål. Bruken av Pareto fronter er en populær metode for å kombinere slike formål. Frontene presenterer brukere ett sett med de beste mulige løsningene, hvor en løsning kan velges basert på ønsket utbytte mellom formålene. Denne masteroppgaven bygger på arbeid av Haas [2019], som utviklet et rammeverk som bruker MOO og Pareto fronter for å utforske kostnaden rettferdighet har på riktigheten til AI systemer. Rammeverket krever valg av datasett, rettferdighet- og riktighetsmetrikker, og klassifiseringsalgoritmer og diskrimineringsforebyggende metoder. Disse blir brukt til å bygge AI modeller som kan evalueres ved å studere Pareto frontene de produserer.

Hovedbidraget til denne masteroppgaven er todelt. Vi bidrar til å verifisere rammeverket til Haas, ved å anvende et annet datasett og bruke flere diskrimineringsforebyggende metoder. Resultatene våre generaliserer bruken av MOO og Pareto fronter som en metode for å undersøke kostnaden av rettferdighet. I tillegg presenterer vi en ny metode og arkitektur videreutviklet fra Haas sin metode. Denne nye metoden tilbyr samme muligheter for undersøking av kostnaden av rettferdighet, men kan bli anvendt på eksiterende AI systemer som allerede har blir trent for optimal riktighet uten å ta rettferdighet i betraktning. Denne metoden og dens arkitektur bygger på aktuell forskning.

This thesis investigates the use of multi-objective optimization and Pareto frontiers to explore the cost of fairness in automated decision-making systems.

Artificial intelligence (AI) systems are now being introduced into several facets of society, both in the public and private sector. These systems often make critical decisions about people’s lives, in areas like health care, law enforcement, court cases, hiring, credit scoring, lending, and more. Such automated decision-making systems have been shown to reproduce or amplify human biases, sometimes even introducing new ones. These discoveries led to the emergence of research in the field of fair AI systems. In this field there is a general consensus that there exists a tradeoff between the accuracy and fairness. This concern has not received nearly enough research.

Multi-objective optimization (MOO) is a method for optimizing a solution for multiple objectives, and the use of Pareto frontiers is a popular method for combining the multiple objectives. The frontiers present the users with options where they can select the solutions they want from the front based on their desired tradeoff between objectives. In this thesis we build upon the work by Haas [2019], who created a framework for using MOO to generate Pareto frontiers that can be used to examine the tradeoff between accuracy and fairness. The framework includes the selection of data set(s), fairness and accuracy metrics, and classifiers and bias mitigation methods. These are used to build AI models that can be evaluated by studying the tradeoffs they produce.

The main contribution of this thesis is twofold. We further verify the framework by Haas, by applying it on a different data set, and using different bias mitigation methods. Our results generalize the use of MOO and Pareto frontiers as a method for investigating the cost of fairness. In addition, we present a novel method and architecture adapted from Haas’ method, that allows for the same study of fairness tradeoffs. However, as opposed to Haas’ method, this novel method can be applied on existing AI systems that have already been trained for optimal accuracy with no regard for fairness. The method and architecture builds upon state-of-the-art research in the field of fairness vs. accuracy tradeoffs.