Influence of Image Effects and Filters in Deepfake Detection

Abstract

Videoer har blitt en viktig del av vårt digitale samfunn, som en kilde for informasjon og underholdning. I samsvar med denne digitale utviklingen har det kommet nye måter å redigere og manipulere videoer. Deepfakes er et eksempel på dette, hvor bilder og videoer av mennesker blir manipulert or redigert til å fremstå som noe de ikke er. Dette kan ha store konsekvenser hvis det brukes til ondsinnet bruk. Det er derfor viktig å ha gode systemer for å oppdage deepfakes.

Deepfake deteksjon er et område det har vært mye fokus på de siste årene, og det er brukt mye ressurser for å få fart på utviklingen. Dette har resultert i store deepfake datasett og forskjellige deteksjonsmodeller. Disse modellene er lovende, men det er lite forskning på hvordan forskjellige bildefiltre og effekter påvirker resultatene til modellene.

Denne oppgaven studerer hvordan moderne deepfake deteksjonsmodeller generaliserer til ny data med ulike filtre og effekter. For å få et svar på dette er det blitt utført forskjellige eksperimenter på modellene med tilpassete datasett bestående av forskjellige filtre og effekter. Resultatene og dataen fra disse eksperimentene vil gi innsikt i hvilke bildefiltre og effekter som påvirker resultatet både minst og mest.

Videos have become an important part of our digital society as a source for information and entertainment. In accordance with this digital development, new ways of editing and manipulating videos have emerged. Deepfakes are an example of this, where images and videos of people are manipulated and edited to appear as something they are not. This can have major consequences if used for malicious use. Good systems for detecting deepfakes are thus important.

Deepfake detection is a field that has received a lot of focus in recent years, and a lot of resources have been invested to accelerate development. This has resulted in large deepfake datasets and various detection models. These models are promising, but there is little research on how visual influences such as various image filters affect the models.

This thesis studies how state of the art deepfake detection models generalize to new data with various filters and effects. To figure this out different experiments have been performed on the models with custom data applied various filters and effects. The data gathered from the experiments gives insight into which filter or effect are the most and least influential for the detection results.