Copy-Move and Splicing Forgery Detection using Deep Learning

Abstract

I en verden som endrer seg i stor hastighet innen teknologi, og bruk av sosiale medier, en ny angrepsflate hvor distribuering av forfalskede bilder kan spre seg til et stort publikum på bare sekunder. De to mest brukte teknikkene for bildemanipulering er copy-move forgery (CMF) hvor kopierte objkekter kommer fra det samme bildet, og splicing forgery (SF) hvor kopierte objekter er fra andre bilder. Mange forsøk på å utvikle dype maskinlæringsmodeller for deteksjon av manipulerte bilder har vært presentert i litteraturen. Det som ikke addresseres i mange av disse modellene er mulighetene for at bilder kan bli retusjert og komprimert under overføring på sosiale medier. Denne oppgaven utforsker utforsker effekten av testing med manipulerte bilder som har blitt ytterligere prosessert med rotasjon, JPEG kompresjon, blur og lysendring. Vi testet effecten på et convolutional neural network (CNN), og de to transfer learning modellene ResNet-50 og ResNet-101, og vi brukte error level analysis (ELA) som en preprosessor til å lyse opp manipulerte objekter i bildene. Vi foreslår en ResNet-50 model som oppnådde en F1 skår på 98% på bilder uten ytterligere prossesering. Vi diskuterer ytelsesnedgangen i eksperimentene hvor bildene har vært ytterligere prossesert, og vi diskuterer at bruk av ResNet-101 som er et dypere nettverk sammenlikned med ResNet-50 ikke fører til bedre ytelse. En annen variabel som kan ha forårsaket ytelsesnedgangen er ELA som ikke egner seg som preprosesseringsteknikk på bilder som er blitt komprimert med JPEG. Dette prosjektet konkluderer at ELA ikke er egnet som preprosesseringsteknikk når bilder som kan ha blitt komprimert under overførelse på sosiale medier. Dybden og kompleksiteten i en dyp læringsmodell spiller også inn på treffsikkerheten og ytelse. Bra deteksjonstreffsikkerhet på testbilder som er lik til treningsbilder vil ikke automatisk bety at modellen er robust for nye typer transformasjoner.

In a world with rapid change in technology and the use of social media (SM), a growing attack surface with a fast distribution of fake images to a vast audience is an increasing problem. The two most used image tampering techniques are copy-move forgery (CMF), where copied objects are from within the same image, and sf where the copied objects originate from another image. Many attempts to develop deep learning models for image tampering detection have been proposed in the literature. However, many of them have not considered the possibility that tampered images can be additionally post-processing in image editing programs and be compressed when transferred on sm. This thesis explores the impact of using test images post-processed with rotation, jpeg compression, blurring, and brightening. We test the impact on a convolutional neural network (CNN), and the transfer learning models ResNet-50 and ResNet-101, and error level analysis (ELA) is used as a pre-processor to highlight tampering regions. We propose an improved ResNet-50 model with an F1 score of 98% when presented with images not post-processed. We address the performance drop in experiments with post-processed images, and we address that using ResNet-101, a deeper model than ResNet-50, does not result in increased performance. Another variable that caused the performance drop was ELA, which depends on analyzing images that have not lost data due to additional jpeg compression. This research can conclude that ELA is not a suitable post-processing technique to rely on when investigating images that may be post-processed or transferred online. The depth and complexity of deep learning models have an impact on the accuracy and performance. Good detection accuracy on testing images, similar to training images, does not equal good detection accuracy on new types of image transformations.