Individual Fairness in Machine Learning
Master thesis
Permanent lenke
https://hdl.handle.net/11250/2787251Utgivelsesdato
2021Metadata
Vis full innførselSamlinger
Sammendrag
Denne oppgaven undersøker metoder for å oppdage bias for datasett og bruke et saksbasert resonnementsystem konstruert ved hjelp av automatiserte vektberegninger for åsikre individuell rettferdighet.Kunstig intelligens (KI)-systemer introduseres daglig i nye fasetter i samfunnet. Disse systemene er laget for å ta viktige beslutninger ommenneskers liv i forskjellige livssfærer som rettssaker, ansettelse, kredittscoring, og mange flere. Tidligere har disse beslutningssystemene blitt vist å videreføre menneskelig skjevhet til beslutningstaking. Disse resultatene førte til et nytt forskningsfelt: rettferdige KI-systemer.Før man til og med vurderer rettferdigheten til en KI-algoritme, må man vurdere omdataene er upartiske. Hvis dette ikke er tilfelle, kan til og med en rettferdig algoritme giurettferdige resultater. For å kunne oppdage bias for datasett, foreslår vi en pre-prosesseringsmetode. Den er avhengig av funksjonsrelevansemetoder skal fange opp relevansen av hver funksjon for å skille mellom forskjellige klassemerker. Ved å bruke denne relevansen skaper vi en innflytelsesprosent for hver funksjon i datasettet, og bruker denne prosentandelen til å skille om en beskyttet funksjon er for innflytelsesrik, og markerer datasettet partisk og ubrukelig hvis rettferdighet er en bekymring.Etter å ha foreslått en metode for å oppdage dataspesifikasjon, undersøker vi om et casebasert resonnementsystem ved hjelp av automatiserte vektberegninger kan brukes til åsikre individuell rettferdighet. Vi bygger på det saksbaserte resonnementsystemet som ble presentert i [Jaiswal og Bach, 2019] ved å gi forbedret globale beregninger for likhet.
For å evaluere rettferdigheten i det saksbaserte resonnementssystemet, opprettet vi en rettferdighetsverifisering. Bekrefteren er konstruert som en forenkletversjon av verifikatoren forklart i [John, Vijaykeerthy og Saha, 2020].Hovedbidraget til denne oppgaven er todelt. For det første foreslår vi en forhåndsbehandlingsmetode for å oppdage datasettingsforstyrrelser. For det andre viser viat saksbasert resonnement ved hjelp av automatiserte vektberegninger kan brukesfor å sikre individuell rettferdighet i et KI-system. This thesis investigates methods of detecting dataset bias and using a case-based reasoning system constructed using automated weight calculations toensure individual fairness.
Artificial intelligence (AI) systems are being introduced in new facets of society daily. These systems are created to make important decisions aboutpeople's lives in different spheres of life such as court cases, hiring, creditscoring, and many more. In the past, these decision-making systems havebeen shown to pass on human bias to their decision-making. These resultsled to a new field of research: fair AI systems.
Before even considering fairness of an AI algorithm, one needs to consider ifthe data is unbiased. If this is not the case, even providing a fair algorithm,unfair results are possible. In order to be able to detect dataset bias, we propose a pre-processing method. It relies on feature relevance scoring methodscapturing the relevance of each feature on distinguishing between differentclass labels. Using this relevance, we create an influence percentage for eachfeature in the dataset and use this percentage to distinguish if a protectedfeature is too influential, marking the dataset biased and unusable if fairnessis a concern.
After proposing a method for detecting dataset bias, we explore if a case-based reasoning system using automated weight calculations can be used toensure individual fairness. We build on the case-based reasoning system presented in [Jaiswal and Bach, 2019] by providing improved global similaritymetrics. In order to evaluate the fairness of the case-based reasoning system, we created a fairness verifier. The verifier is constructed as a simplifiedversion of the verifier explained in [John, Vijaykeerthy, and Saha, 2020].
The main contribution of this thesis is twofold. Firstly, we successfully propose a pre-processing method for detecting dataset bias. Secondly, we showedthat case-based reasoning using automated weight calculations can be usedto ensure individual fairness of an AI system.