Individual Fairness in Machine Learning

Abstract

Denne oppgaven undersøker metoder for å oppdage bias for datasett og bruke et saksbasert resonnementsystem konstruert ved hjelp av automatiserte vektberegninger for å sikre individuell rettferdighet. Kunstig intelligens (KI)-systemer introduseres daglig i nye fasetter i samfunnet. Disse systemene er laget for å ta viktige beslutninger om menneskers liv i forskjellige livssfærer som rettssaker, ansettelse, kredittscoring, og mange flere. Tidligere har disse beslutningssystemene blitt vist å videreføre menneskelig skjevhet til beslutningstaking. Disse resultatene førte til et nytt forskningsfelt: rettferdige KI-systemer. Før man til og med vurderer rettferdigheten til en KI-algoritme, må man vurdere om dataene er upartiske. Hvis dette ikke er tilfelle, kan til og med en rettferdig algoritme gi urettferdige resultater. For å kunne oppdage bias for datasett, foreslår vi en pre-prosesseringsmetode. Den er avhengig av funksjonsrelevansemetoder skal fange opp relevansen av hver funksjon for å skille mellom forskjellige klassemerker. Ved å bruke denne relevansen skaper vi en innflytelsesprosent for hver funksjon i datasettet, og bruker denne prosentandelen til å skille om en beskyttet funksjon er for innflytelsesrik, og markerer datasettet partisk og ubrukelig hvis rettferdighet er en bekymring. Etter å ha foreslått en metode for å oppdage dataspesifikasjon, undersøker vi om et casebasert resonnementsystem ved hjelp av automatiserte vektberegninger kan brukes til å sikre individuell rettferdighet. Vi bygger på det saksbaserte resonnementsystemet som ble presentert i [Jaiswal og Bach, 2019] ved å gi forbedret globale beregninger for likhet.

For å evaluere rettferdigheten i det saksbaserte resonnementssystemet, opprettet vi en rettferdighetsverifisering. Bekrefteren er konstruert som en forenklet versjon av verifikatoren forklart i [John, Vijaykeerthy og Saha, 2020]. Hovedbidraget til denne oppgaven er todelt. For det første foreslår vi en forhåndsbehandlingsmetode for å oppdage datasettingsforstyrrelser. For det andre viser vi at saksbasert resonnement ved hjelp av automatiserte vektberegninger kan brukes for å sikre individuell rettferdighet i et KI-system.

This thesis investigates methods of detecting dataset bias and using a case-based reasoning system constructed using automated weight calculations to ensure individual fairness.

Artificial intelligence (AI) systems are being introduced in new facets of society daily. These systems are created to make important decisions about people's lives in different spheres of life such as court cases, hiring, credit scoring, and many more. In the past, these decision-making systems have been shown to pass on human bias to their decision-making. These results led to a new field of research: fair AI systems.

Before even considering fairness of an AI algorithm, one needs to consider if the data is unbiased. If this is not the case, even providing a fair algorithm, unfair results are possible. In order to be able to detect dataset bias, we propose a pre-processing method. It relies on feature relevance scoring methods capturing the relevance of each feature on distinguishing between different class labels. Using this relevance, we create an influence percentage for each feature in the dataset and use this percentage to distinguish if a protected feature is too influential, marking the dataset biased and unusable if fairness is a concern.

After proposing a method for detecting dataset bias, we explore if a case-based reasoning system using automated weight calculations can be used to ensure individual fairness. We build on the case-based reasoning system presented in [Jaiswal and Bach, 2019] by providing improved global similarity metrics. In order to evaluate the fairness of the case-based reasoning system, we created a fairness verifier. The verifier is constructed as a simplified version of the verifier explained in [John, Vijaykeerthy, and Saha, 2020].

The main contribution of this thesis is twofold. Firstly, we successfully propose a pre-processing method for detecting dataset bias. Secondly, we showed that case-based reasoning using automated weight calculations can be used to ensure individual fairness of an AI system.