Generative Adverseriale Nettverk (GAN) utvidelser og anvendelser innen bildeprosessering og generering

Abstract

Når menneskehjernener prosesserer input fra sansene er de i stand til å unastrengt forestille seg nye instanser og scenarioer fra bare en liten mengde inputopplevelse. Generative Adverseriale Nettverk (GAN) klarer til en viss grad å oppnå denne forstillingsevnen for datasett. Vi utforsker denne teknikken og dens anvendelser innen bildeprosessering og generering. Dette har anvendelsesområder som medisin, fysikk og kunstig intelligens.

For eksempel implementerer vi pix2pix algoritmen for å transformere satellittbilder til kart. Denne algoritmen er anvendelsesuavhengig og kan takle særdeles forskjellige problemer uten mye tilpasning. Dette viser at det er mulig å lage generaliserte metoder for kompliserte domene til domene transformasjoner.

Hovedvekten i denne avhandlingen vil allikevel falle på den omfattende litteraturstudien av GAN-varianter. Her vil vi dekke over forskjellige tapsfunksjoner for GAN, som Wasserstein-metrikken, funksjonelle gradienter for fininstilling av GAN, måter å kontrollere generert output, som betinget GAN, Syklisk GAN og InfoGAN, og til slutt en Bayesiansk utvidelse av GAN som bidrar med usikkerhet og inferens til GAN.

When human brains process input from the senses they are able to effortlessly imagine new instances and scenarios from only a small amount of input experience. Generative Adversarial Networks (GANs) manages to some extent to achieve this imagination ability for datasets. We explore this technique and its applicability in image processing and generation. This has applications in areas like medicine, physics, and artificial intelligence.

For example we implement the pix2pix algorithm for transforming satellite images into maps. This algorithm is application independent and can handle vastly different problems without significant tweaking. This shows that it is possible to create generalized methods to do complicated domain to domain transformations.

The main weight of this thesis will nonetheless fall on the extensive literature study of GAN variants. Here we cover different loss functions for GANs, like the Wasserstein metric, functional gradients for fine tuning GANs, ways of controlling the generated output, like conditional GAN, CycleGAN, and InfoGAN, and finally a Bayesian extension of GAN that provides uncertainty and inference to GANs.