Lamarckian Evolution of Compositional Pattern Producing Networks

Abstract

Feltet som innebærer å få høyere oppløsning på bilder har vært et emne for forskning i mange år. Matematisk interpolasjon har lenge vært en standard i industrien. Disse typer metoder er fleksible med tanke på bilders input- og outputstørrelse. Det siste tiåret har dyp læring fått større popularitet innenfor feltet, og har også oppnådd bedre resultater enn interpoleringsmetoder. Slike metoder er dog statiske med tanke på outputstørrelse og har derfor en grense for hvor store bilder de kan ta som input og output. Denne oppgaven utforsker muligheten til å bruke Compositional Pattern Producing Networks(CPPN) som en fleksibel metode for å få høyere oppløsning på enkeltbilder lignende interpolering. Siden bilder kommer med varierende karakteristikk og kompleksitet, ble det utviklet en metode for å optimalisere CPPN-er til hvert enkelt bilde. Lamarckian evolution of Compositional Pattern Producing Networks(LE-CPPN), en kombinasjon av nevralarkitektursøk og backpropagation ble utviklet og testet. Gridsøk og tilfeldig søk ble testet mot LE-CPPN, men klarte ikke å få like gode resultater. CPPN-er som utviklet seg med LE-CPPN klarte å produsere detaljerte gjenskapninger, og ble videre brukt for å få høyoppløselige bilder. Oppskaleringen av bilder med CPPN-er resulterte i bilder som fikk lavere matematisk score enn bilder som ble upsamplet med matematisk interpolasjon. Allikevel ble de visuelle egenskapene til bildene som ble produsert av CPPN tilfredsstillende.

The field of single image super resolution has been a subject of researchfor many years. Interpolation has long been the industry standard. Thismethod is flexible in terms of image input and output size. In the lastdecade, deep learning has gained popularity within image super resolutionand has even outperformed interpolation. Such methods are often staticin terms of their output size and thus have a limit to how large imagesthey can input and output. This thesis explores the abilities of Composi-tional Pattern Producing Networks (CPPN) as a flexible method for sin-gle image super resolution similar to interpolation. As images come withvarying characteristics and complexity, it is hard to design and optimizenetworks capable of producing detailed image recreations. The Lamar-ckian Evolution of Compositional Pattern Producing Networks algorithm(LE-CPPN), a combination of neural architecture search and backprop-agation for CPPN optimization, was developed and tested. Experimentsshowed that the Lamarckian inheritance of weights significantly improvesnetwork performance compared to pure backpropagation training. CPPNsevolved by LE-CPPN, successfully produced detailed image recreations,and were further used to upsample images. The resulting upscaled im-ages displayed interesting qualities, and the visual quality was satisfying.Regarding mathematical image similarity scores, the method scored lowerthan image interpolation.