Towards Consistent Full-Body Anonymization

Abstract

Det finnes mange datasystemer som krever store mengder bildedata, men tilgjengeligheten og kvaliteten på denne bildedataen begrenses ofte av personvenrnsreguleringer som \acrshort{gdpr}. Et problem er at banale anonymiseringsteknikker som blurring og maskering lager bilder som ser veldig annerledes ut enn originalbildene. Dette fører til at datasett anonymisert med disse teknikkene er uegnet i tilfeller der det kreves realistisk bildeinnhold. Det finnes i dag fullkroppsanonymiseringsmodeller som fungerer bra til å generere realistiske enkeltbilder, men disse skaper store endringer i en persons utseende ved små endringer i bakgrunns- og positurinformasjon. I denne rapporten legger vi fram en realistisk fullkroppsanonymiseringsmodell som gir mer konsekvente anonymiseringer ved endringer i bakgrunn og positur, og kommer dermed et steg videre på veien mot realistisk videoanonymisering. Modellen vår er trent til å rekonstruere den originale personen i bildet, slik at modellen tvinges til å bruke den latente variabelen z når den bestemmer utseendet til personen som skal genereres. Når modellen vår brukes til å anonymisere Market1501-datasettet er den overlegent bedre enn utganspunkt-modellen vår basert på StyleGAN i å generere samme person på tvers av bilder. Den forbedrede modellen gir ingen økning i hvor lang tid anonymiseringen tar, men å øke konsekventheten fører til en nedgang i bildekvalitet og mangfold i de generte bildene. Vi vil gjennom rapporten diskutere flere utfordringer relatert til konsekvent fullkroppsanonymisering og komme med forslag til hva som burde unsersøkes i videre forskning på feltet.

For applications requiring large amounts of image data, the availability and usability of such images often conflict with privacy regulations like \acrshort{gdpr}. Naive anonymization methods (\eg masking, blurring) result in images wildly different from the original ones, making the data unusable for applications requiring realistic image content. Current realistic full-body anonymization works well on single images but tends to create significant changes in the appearance of the generated person for small changes in backgrounds and poses. In this thesis, we propose a model that generates more consistent anonymizations for changes in the input, paving the way for realistic video anonymization. Our model is trained to reconstruct the original person in the image, such that the model is forced to use a latent variable z when synthesizing the person's appearance. When used to anonymize the Market1501 dataset, our model outperforms our StyleGAN baseline by a wide margin in terms of retaining the same identity across various images. The improved model has no increase in inference time, but increasing consistency leads to a decline in image quality and diversity. We will, through this thesis, discuss several challenges related to consistent full-body anonymization and propose new directions for further research in the field.