3D Face Reconstruction Using Facial Image Sequences

Abstract

Etterhvert som 3D ansikts rekonstruksjon utvikler seg er det en trend som tilsynelatende g ̊ar igjen. Rekonstruksjon blir stort sett gjort ved bruk av ett enkelt bilde, eller et lavt fast antall bilder som input. Dette arbeidet foresl ̊ar en m ̊ate ̊a gjøre 3D ansikts rekonstruksjon ved hjelp av maskinlæring gitt en sekvens best ̊aende av ansikts bilder som input. Vi forsøker ̊a finne en m ̊ate ̊a ta inn ett vilk ̊arlig antall ansikts bilder som input, hvor hvert nytt bilde fører til et forbedret resultat gener- ert av nettverket. Den foresl ̊atte modellen viser potensiale, men lider av overfitting p ̊a grunn av begrensninger med tanke p ̊a det tilgjengelige datasettet brukt. Videre arbeid diskuterer ideer for ̊a forbedre datasettet i tillegg til forbedringer med tanke p ̊a den foresl ̊atte nettverks arkitekturen.

As the field of 3D face reconstruction keeps evolving, one trend seems to stay the same. Recon- struction is usually done given a single or a small set number of input images. This work proposes a way to conduct 3D facial reconstruction with machine learning given a sequence of 2D facial images as input. It aims to find a way to take an arbitrary amount of facial images as input where the quality of the results improves with each new image presented to the network. The proposed model shows potential, although it suffers from overfitting due to limitations concerning the available dataset. Further work discusses ideas for improvement concerning the dataset used, and aproposes improvements for the proposed network architecture.