DeepPrivacy: A GAN-based framework for image anonymization

Abstract

Samle data fra selvkjørende biler uten å anonymisere personlig informasjon er ulovlig etter introduksjonen av Personvernforordningen (GDPR) i 2018. For å samle data for å trene og validere maskinlæringsmodeller, må vi anonymisere dataen uten å endre det originale bilde betydelig. Selv med den store framgangen i dyp læring så finnes det ingen løsning som kan automatisk anonymisere fjes uten å ødelegge bildet.

Vi presenterer DeepPrivacy; en to-stegs modell som kan automatisk detektere og anonymisere fjes i bilder. Vi presenterer en ny generativ modell som anonymiserer fjes, samtidig som vi beholder den originale data distribusjonen; det vil si, vår generative modell genererer fjes som passer den gitte situasjonen. DeepPrivacy er basert på en betinget Generative Adversarial Network som generer bilder basert på plassering og bakgrunnen av det original fjeset. Videre introduserer vi et diverst datasett av menneskelige fjes, som inkluderer uvanlige rotasjoner av fjes, tildekket fjes, og en stor variasjon i bakgrunner. Til slutt, presenterer vi eksperimentelle resultater som reflekterer evnen til DeepPrivacy til å anonymisere fjes og beholde den originale data distribusjonen. Ettersom at de anonymiserte bildene beholder den originale data distribusjonen, gir det oss muligheten til å videre trene og validere maskinlærings modeller. Fra vår kunnskap finnes det ingen presentert løsning som garanterer anonymisering av bilder uten å ødelegge den original data distribusjonen.

Freely collecting data from autonomous vehicles without anonymizing personal information is illegal with the introduction of the General Data Protection Regulation (GDPR). Therefore, to collect images to train and validate machine learning models, we are required to anonymize the data without drastically changing the original image appearance. Despite the remarkable progress of deep learning, there exists no suitable solution to automatically anonymize faces in images without destroying the original image.

We present DeepPrivacy; a two-stage pipeline that automatically detects and anonymize faces in images. We propose a novel generative model that can automatically anonymize faces in images while retaining the original data distribution; that is, our generative model generates a realistic face fitting the given situation. We ensure total anonymization of all individuals in an image by generating images without utilizing any privacy-sensitive information. Our model is based on a conditional generative adversarial network, generating images considering the original pose and image background. The conditional information enables us to generate highly realistic faces with a seamless transition between the generated face and the existing background. Furthermore, we introduce a diverse dataset of human faces, including unconventional poses, occluded faces, and a considerable variability in backgrounds. Finally, we present experimental results reflecting the ability of our model to anonymize images while preserving the data distribution, making the data suitable for further training of deep learning models. As far as we know, no other solution has been proposed that guarantees the anonymization of faces while generating realistic images.