Approaches to Algorithmic Fairness: Empirical Study and a Sociotechnical Framework Proposal

Abstract

Maskinlæringssystemer har potensialet til å øke sosiale forskjeller og begrense folks livsmuligheter. Disse systemene kan brukes i flere sensitive situasjoner og være involvert i livsavgjørende beslutninger. Det er derfor viktig å sikre at disse beslutningene ikke inneholder diskriminerende adferd rettet mot visse grupper eller enkeltpersoner. Oppdaging av urettferdighet og systematisk diskriminering forårsaket av algoritmiske resultater har fått mye oppmerksomhet i ulike sammenhenger. Forskere har blitt oppmerksomme på bias i slike systemer, og det er blitt publisert en betydelig mengde litteratur om algoritmisk rettferdighet og bias for å prøve å løse disse problemene.

Denne forskningen er ofte opptatt av å matematisk definere rettferdighet og finne metoder for å redusere bias og urettferdighet innenfor disse definisjonene. Imidlertid er det avgjørende at disse forslagene og løsningene også tar hensyn til virkelige behov dersom forskningsmiljøets bidrag skal ha en positiv innvirkning på bransjen.

Målet med denne studien er å forbedre forståelsen av hvordan selskaper jobber mot algoritmisk rettferdighet ved å identifisere relevante faktorer gjennom innsikt fra utøvere som er opptatt av algoritmisk rettferdighet. Forfatteren brukte halvstrukturerte intervjuer som datainnsamlingsmetode for å oppnå forskningsmålet. Ved å gjennomføre ni halvstrukturerte intervjuer, ble det gjort en systematisk undersøkelse av hvordan utøvere nærmer seg og jobber mot algoritmisk rettferdighet. Dette inkluderer identifisering av brukte teknikker, hensyn som tas og observerte utfordringer.

Studien bidrar til området for algoritmisk rettferdighet ved å utvide et sosioteknisk perspektiv basert på funn fra analyserte intervjuer og litteraturen. Det foreslåtte bidraget er et rammeverk basert på relevante faktorer som tar i bruk et sosioteknisk perspektiv på algoritmisk rettferdighet.

Denne studien viser at utøvere er på et tidlig stadium når det gjelder å vurdere algoritmisk rettferdighet. Resultatene viser at selv om utøverne er opptatt av litteraturen, får de sosiale aspektene og konsekvensene mer oppmerksomhet enn kun statistiske mål. Denne forskningen belyser både generelle og saksspesifikke aspekter og avdekker implikasjoner som må tas hensyn til.

Machine learning (ML) systems have the potential to increase social differences and limit people's opportunities in life. These systems can be used in several sensitive environments and partake in life-changing decisions, and it is, therefore, essential to ensure that these decisions are free from discriminatory behavior that target certain groups or individuals. Discoveries of injustice and systematic discrimination caused by algorithmic outcomes have made headlines within numerous contexts. Researchers have become aware of the biases within these systems and significant literature on algorithmic fairness and bias has been proposed, attempting to address these issues.

This research is often concerned with mathematically defining fairness and findings methods for mitigating bias and unfairness within these definitions. However, if the contributions of the research community are to have a positive impact on the industry it is pivotal that these suggestions and solutions also have an understanding of real-world needs.

The research objective of this study is to improve the understanding of how companies advance toward algorithmic fairness, by identifying relevant factors through retrieving insight from practitioners that are concerned with algorithmic fairness. The author used semi-structured interviews as the data generation method in order to solve the research objective. By performing 9 semi-structured interviews, a systematic investigation of how practitioners approach and advance toward algorithmic fairness is conducted, identifying the techniques used and considerations taken along with observed challenges.

The study contributes to the area of algorithmic fairness by extending a sociotechnical view based on discoveries from analyzed interviews and the literature. The proposed contribution is a framework based on relevant factors that use a sociotechnical lens on algorithmic fairness.

This study reveals that practitioners are at an early stage in making considerations for algorithmic fairness. The results show that whilst practitioners are preoccupied with the literature, the social aspects and consequences are given more attention than statistical measures. This research highlights both general and case-specific aspects, revealing implications that practitioners must consider.