Pixel-Perfect: Style Transfer for Pixel Art Synthesis using Cycle-Consistent Generative Adversarial Networks

Abstract

Denne masteroppgaven utforsker generering av pikselkunst gjennom bilde-til-bilde oversettelse ved bruk av sykliske generative nevrale nettverk (CycleGANs). Dette blir gjort gjennom å oversette digitale illustrasjoner til pikselkunst.

Som følge av de tekniske begrensingene på 70- og 80-tallet, formidlet grafiske designere og programmerere kunst ved hjelp av et begrenset sett med piksler og farger, ved å bevisst plassere hver piksel individuelt. Til tross for at disse tekniske begrensingene ikke lenger finnes, så har pikselkunst overlevd som en populær kunstform. Selv om pikselkunst kan virke enkelt, så må pikselkunstnere følge spesifikke regler og retningslinjer i henhold til kunststilen, som gjør prosessen tidkrevende og vanskelig. Dette motiverer til automatisk generering av pikselkunst ved bruk av kreative datasystemer. Slike systemer benytter ofte kunstig intelligens og dyp læring for å generere bilder, men de er sjelden optimalisert for generering av pikselkunst.

Ved å utvikle og trene generative maskinlæringsmodeller og bruke et høy-kvalitets datasett, klarer denne oppgaven å genere pikselkunst på nivå med menneskelige kunstnere. Dette oppnås gjennom en rekke eksperimenter, der betydningen av datasettene testes, og flere utvidelser til modell-arkitekturen blir undersøkt. Alle eksperimentene bruker den originale CycleGAN-arkitekturen som grunnlag, og tre store arkitekturendringer blir undersøkt, der hver arkitektur blir optimalisert med hensyn til kvaliteten på de genererte bildene.

De genererte bildene blir evaluert ved hjelp av visuell inspeksjon og statistiske metrikker. Den visuelle inspeksjonen og de statistiske målingene sammenligner resultatene fra modellene med hverandre og viser at modellene effektivt klarer å oversette bilder til pikselkunst-stilen. Videre blir det introdusert en ny metrikk for evaluering av fargebevaring for bilde-til-bilde oversettelsesmodeller, som sammenligner fargepalettene til originale og oversatte bilder. Resultatene fra denne metrikken viser at modellene oppnår tilstrekkelig fargebevaring mellom bildene.

Videre blir resultatene fra den beste modellen vurdert via en undersøkelse med eksperter innenfor pikselkunst-domenet. Svarene på undersøkelsen viste at modellene er i stand til å generere kunstverk på nivå med en nybegynner innen pikselkunst, men at bildene ikke viser noe form for avanserte pikselkunstteknikker. Til tross for dette, uttrykte ekspertene at resultatene var imponerende sammenlignet med annen AI-generert pikselkunst. De genererte bildene viser bruk av de grunnleggende reglene og retningslinjene som finnes for pikselkunst-stilen, og den endelige modellen viser anvendelighet som et støttesystem for pikselkunstnere, designere og videospillutviklere.

This thesis explores the synthesis of pixel art by image-to-image translation using cycle-consistent generative adversarial networks (CycleGANs). This is achieved by translating cartoon illustrations into the pixel art style.

As constrained to the technical limitations of their time, early computer graphics programmers conveyed art using a limited set of pixels and colors, deliberately placing each pixel. Even though the technical limitations are no longer present, pixel art has survived as a popular art form. Despite the simplistic nature of pixel art, artists must adhere to specific stylistic rules and guidelines, making the process time-consuming and meticulous. This motivates the automatic generation of pixel art using creative computer systems. Such systems often employ artificial intelligence and deep learning algorithms to generate images but are rarely optimized for the generation of pixel art.

By fine-tuning and training state-of-the-art deep learning models and leveraging a custom, high-quantity, and quality dataset, this thesis succeeds in generating pixel art on the level of human artists. This is done through a series of experiments, where the importance of the dataset is examined, and different model architectures are iterated and improved upon. All the experiments have the CycleGAN architecture as a foundation, and three significant architectural changes are examined, each optimized in response to the quality of the generated images.

The generated images are evaluated using visual inspection and statistical metrics. The visual inspection and statistical metrics compare the results of the models against each other and show that the models are able to translate to the pixel art style effectively, with certain models performing better. Furthermore, a new color consistency evaluation metric for image-to-image translation models is introduced, which compares color palettes of original and translated images. The results of this metric show that the models ensure sufficient color consistency between the images.

The results from the best-performing model are further evaluated through a domain expert survey. The responses to the survey reveal that the model can generate artwork on the level of a beginner human pixel artist but that the model cannot incorporate advanced pixel art techniques. Despite this, the domain experts expressed that the results were impressive compared to other AI-generated pixel art. The generated images show adherence to the basic rules and guidelines of the pixel art style, and the model shows applicability as an assistive system to pixel artists, designers, and video game developers alike.