Vis enkel innførsel

dc.contributor.advisorTheoharis, Theoharis
dc.contributor.authorSwensen, Eilif Tandberg
dc.date.accessioned2022-01-27T18:19:37Z
dc.date.available2022-01-27T18:19:37Z
dc.date.issued2021
dc.identifierno.ntnu:inspera:74730513:37059384
dc.identifier.urihttps://hdl.handle.net/11250/2902884
dc.description.abstractRendering i sanntid blir stadig dyrere på grunn av skjermer med høyere oppløsning, høyere bildefrekvens og fotorealistisk grafikk. Kostnaden av rendering kan reduseres ved å rendere ved en lavere oppløsning enn skjermen, etterfulgt av oppsampling til skjermoppløsningen. Denne oppgaven introduserer en ny arkitektur for dyp læring tidsoppsampling, referert til som Deep Learning Controlled Temporal Upsampling (DLCTUS). I motsetning til tidligere arbeid, som fokuserer på å konstruere det oppsamplede bildet helt gjennom bruk av nevrale nettverk, bruker \acrshort{dlctus} en hybrid tilnærming der et rekurrent nevralt nettverk styrer historie korrigering og akkumulerings stadiene for tidsoppsampling. Oppgaven viser så at denne forenklingen gjør at arkitekturen kan produsere bilder med høy bildekvalitet, mens den benytter et lite og raskt nevralt nettverk. Bildekvaliteten blir vist til å være litt dårligere enn state-of-the-art for 2x2-oppsampling, men betydelig bedre enn state-of-the-art for 4x4-oppsampling. I tillegg formuleres en spatio-temporal tapsfunksjon. Tapsfunksjonen øker stabiliteten over tid i arkitekturen, men reduserer også bildekvaliteten litt. Til slutt blir en optimalisert implementasjon av DLCTUS laget, og kjøretiden blir vist til å være en størrelsesorden raskere enn state-of-the-art.
dc.description.abstractReal-time rendering is becoming increasingly expensive due to higher resolution displays, higher refresh-rates, and photo-realistic graphics. The rendering cost can be reduced by rendering at lower resolution than the display, followed by upsampling to the display resolution. This thesis introduces a novel architecture for deep learning temporal upsampling, referred to as Deep Learning Controlled Temporal Upsampling (DLCTUS). In contrast to previous work, which focuses on constructing the upsampled frame entirely through the use of neural networks, \acrshort{dlctus} uses a hybrid approach where a recurrent neural network controls the history rectification and sample accumulation stage of temporal upsampling. The thesis then shows that this simplification allows the architecture to produce images with a high image quality, while using a small and fast neural network. The image quality is shown to be slightly worse than state-of-the-art for 2x2-upsampling, but significantly better than state-of-the-art for 4x4-upsampling. In addition, a spatio-temporal loss function is formulated. The loss function increases the temporal stability of the architecture, but also slightly reduce the overall image quality. Finally, an optimized implementation of DLCTUS is created, and the run-time is shown to be an order of magnitude faster than state-of-the-art.
dc.languageeng
dc.publisherNTNU
dc.titleDeep Learning Controlled Temporal Upsampling - An Efficient Recurrent Convolutional Neural Network Controlled Architecture for Temporal Upsampling
dc.typeMaster thesis


Tilhørende fil(er)

Thumbnail

Denne innførselen finnes i følgende samling(er)

Vis enkel innførsel