Investigating the use of CycleGANs in handwritten forgery detection
Description
Full text not available
Abstract
Generative modeller som implementerer Kunstige nevrale netverk(ANNs) for bildegenerering har sett store fremskritt de siste årene. Generative Adversarial Networks(GANs) er en teknikk som har sett særlig stor utvikling, og har vist gode resultater i stiloverføring. GANs fungerer ved å ha to nevrale netverk med forskjellige mål. Det første netverket, diskriminatoren, har som mål å skille mellom genererte bilder og faktiske bilder, mens det andre netverket, generatoren, har som mål å generere realistiske bilder som vil bli feilklassifisert av diskriminatoren.
Dataaugmentasjon er en metode innen maskinlæring som forsøker å øke datamengden via modifikasjoner i dataen. En måte å gjøre dataaugmentasjon på er å bruke generative modeller til å generere nye dataeksemplarer. Den generiske modellen blir da trent ved å bruke datasettet, før den blir brukt til å generere de nye eksemplarene. Formålet er å minke over-trening, som for klassifiseringsmodeller vil øke ytelsen på ny data.
Dette prosjektet utforsker bruken av GANs innen deteksjon av håndskrevet forfalskning. Dette gjøres via en sykluskonsistent GAN som blir trent opp på eksempler av forfalskede og autentiske signaturer fra en person. Denne GANen blir så brukt til å augmentere datasettet som inneholder forfalskede signaturer. To GAN-implementasjoner, DenseNet GAN og ResNet GAN, ble utforsket for å se om dette kunne ha noe innvirkning på resultatet.
Resultatene viser at bilde augmenteringen med GANs gir en 2-4\% økning i ytelse i våre eksperimenter. Det virket heller ikke på resultatene som at noen av de to GAN implementasjonene som ble implementert var bedre enn den andre. Generative models implementing Artificial Neural Networks(ANNs) for image generation have in the last years seen a lot of progress. Generative Adversarial Networks(GANs) is a framework that has seen particularly great progress and has shownto be a good method for image stile transferring. GANs are working by havingtwo competing ANNs with opposing goals. One of the networks, the discriminator, attempts to separate authentic images from generated images, while the othernetwork, the generator, attempts to generate images that are able to fool the discriminator.
Data augmentation is a method within machine learning that increases the amountof data through modification of the already existing data. One data augmentationmethod that has been researched is using generative models to generate new sampleswhich look like the original data. The reasoning behind doing data augmentation isto reduce overfitting in machine learning models, which is a phenomenon where themodel fits the training data too closely, which leads to poor performance on new datasamples.
This project explores the usage of GANs to detect handwritten forgery. This isdone by using a cycle-consistent GAN trained on forged and authentic handwrittensignatures to augment data and add new entries to the forged samples. Additionally,we explored two different GAN implementations, DenseNet GAN and ResNet GAN,to investigate whether that will impact the results.
The results show that a small performance gain of 2-4% accuracy in our experimentscan be obtained through our GAN data augmentation method. Additionally, theresults did not seem to indicate that any of the two GAN implementations weresuperior to one another.