Lamarckian Evolution of Compositional Pattern Producing Networks For Image Super Resolution

Abstract

Feltet som innebærer å få høyere oppløsning på bilder har vært et emne for forskning i mange år. Matematisk interpolasjon har lenge vært en standard i industrien. Disse typer metoder er fleksible med tanke på bilders input- og outputstørrelse. Det siste tiåret har dyp læring fått større popularitet innenfor feltet, og har også oppnådd bedre resultater enn interpoleringsmetoder. Slike metoder er dog statiske med tanke på outputstørrelse og har derfor en grense for hvor store bilder de kan ta som input og output. Denne oppgaven utforsker muligheten til å bruke Compositional Pattern Producing Networks(CPPN) som en fleksibel metode for å få høyere oppløsning på enkeltbilder lignende interpolering. Siden bilder kommer med varierende karakteristikk og kompleksitet, ble det utviklet en metode for å optimalisere CPPN-er til hvert enkelt bilde. Lamarckian evolution of Compositional Pattern Producing Networks(LE-CPPN), en kombinasjon av nevralarkitektursøk og backpropagation ble utviklet og testet. Gridsøk og tilfeldig søk ble testet mot LE-CPPN, men klarte ikke å få like gode resultater. CPPN-er som utviklet seg med LE-CPPN klarte å produsere detaljerte gjenskapninger, og ble videre brukt for å få høyoppløselige bilder. Oppskaleringen av bilder med CPPN-er resulterte i bilder som fikk lavere matematisk score enn bilder som ble upsamplet med matematisk interpolasjon. Allikevel ble de visuelle egenskapene til bildene som ble produsert av CPPN tilfredsstillende.

The field of single image super resolution has been a subject of research for many years. Interpolation has long been the industry standard. This method is flexible in terms of image input and output size. In the last decade, deep learning has gained popularity within image super resolution and has even outperformed interpolation. Such methods are often static in terms of their output size and thus have a limit to how large images they can input and output. This thesis explores the abilities of Compositional Pattern Producing Networks (CPPN) as a flexible method for single image super resolution similar to interpolation. As images come with varying characteristics and complexity, it is hard to design and optimize networks capable of producing detailed image recreations. The Lamarckian Evolution of Compositional Pattern Producing Networks algorithm (LE-CPPN), a combination of neural architecture search and backpropagation for CPPN optimization, was developed and tested. Experiments showed that the Lamarckian inheritance of weights significantly improves network performance compared to pure backpropagation training. CPPNs evolved by LE-CPPN, successfully produced detailed image recreations, and were further used to upsample images. The resulting upscaled images displayed interesting qualities, and the visual quality was satisfying. Regarding mathematical image similarity scores, the method scored lower than image interpolation.