Bias Mitigation in Face Recognition Systems using Synthetic Data

Abstract

De fleste moderne ansiktsgjenkjenningssystemer i dag er basert på dype læringsteknikker som krever en stor mengde merket treningsdata for å fungere tilfredsstillende. Med innføringen av personvernlover og forskrifter som for eksempel GDPR, har det blitt stadig vanskeligere å samle store og varierte datasett med ansiktsbilder som er tilstrekkelige for å trene godt fungerende ansiktsgjenkjenningssystemer. På grunn av dette, har bruken av syntetiske data for å trene ansiktsgjenkjenningssystemer blitt populært. Populariteten skyldes at syntetiske data har potensiale til både å bøte på personvernsproblemer knyttet til innsamling av ekte data samt gi større kontroll over dataene som brukes til å trene ansiktsgjenkjenningssystemene.

På grunnlag av dette utforsker denne avhandlingen bruken av syntetiske data for å trene ansiktsgjenkjenningssystemer. Spesifikt så har avhandlingen som mål å undersøke om det er mulig å bygge et syntetisk datasett uten bias som kan brukes til å finjustere eksisterende ansiktsgjenkjenningssystemer for å redusere bias med hensyn til alder. Videre har avhandlingen som mål å undersøke hvordan bruken av syntetiske ansiktsbilder påvirker ytelsen til ansiktsgjenkjenningssystemer. Resultatene viser at det eksisterer en betydelig domeneforskjell mellom syntetiske og virkelige ansiktsbilder, noe som fører til at ansiktsgjenkjenningssystemer som har blitt finjustert på syntetiske data har en dårlig generaliseringsevne til ekte data. Ved å introdusere noen ekte ansiktsbilder til det syntetiske treningsdatasettet kan man redusere domeneforskjellen og øke systemets ytelse. Samtidig, viser resultatene at syntetiske datasett uten bias har potensiale til å redusere bias i relasjon til alder i ansiktsgjenkjenningssystemer dersom domeneforskjellen fjernes.

Today, most modern face recognition systems are based on deep learning techniques that require a large amount of labeled training data in order to perform adequately. With the introduction of privacy laws and regulations such as the GDPR, it has become increasingly difficult to collect large and diverse datasets of face images sufficient to train well-performing face recognition systems. Consequently, the use of synthetic data to train face recognition systems has gained attention. This is because synthetic data has the potential to both alleviate the privacy issues faced when collecting real-world data but also offer greater control over the data used to train the face recognition systems.

In this thesis, the use of synthetic data to train face recognition systems is explored. Specifically, the thesis aims to explore if it is possible to build an unbiased synthetic dataset that can be used to fine-tune existing face recognition systems to reduce bias with respect to age. Further, the thesis aims to investigate how the use of synthetic face images affects the performance of face recognition systems. The results show that there exists a prominent domain gap between synthetic and real face images that causes the performance of face recognition systems fine-tuned on synthetic data to generalize poorly to real-world data. Introducing real face images to the synthetic training dataset can help close the domain gap and boost the performance of the system. Furthermore, the results show that using an unbiased synthetic dataset has the potential to reduce bias with respect to age if the domain gap is closed.