3D Facial Reconstruction from Front and Side Images

Abstract

Å kunne rekonstruere 3D modeller av ansikter fra 2D bilder er nyttig innenfor biometrisk ansiktsgjenkjenning. Nylige fremskritt innen datasyn og dyp læring har muliggjort bruk av nevralenettverk for å generere rekonstruksjoner av ansikt fra bildedata. En metode som bruker etnevralt nettverk for å rekonstruere 3D ansikt er en metode kalt Position map Regression Network(PRN). Vi skal i denne masteroppgaven bygge videre på arbeidet gjort med PRN og foreslår en ny metode for rekonstruksjon av ansikt fra bildedata. Vår metode bruker to ansiktsbilder, et foran og et fra siden, for å rekonstruere et ansikt. Et sentralt element i vår metode er det nevrale nettverket. For å trene dette nettverket bruker vi både syntetisk og ekte data. Den syntetiske dataen er generert ved hjelp av programvare spesialisert i syntetisk ansiktsgenerering. Vi viser videre at vår metode rekonstruerer ansikter fra MICC Florence datasettet med større nøyaktighet enn PRN.

Being able to reconstruct 3D faces from 2D images is useful for biometric facial recognition. Recent advancements in the computer vision field has enabled the use of CNNs to produces good 3D facial reconstructions. The Position map Regression Network (PRN) is a recent method which produces convincing 3D faces from 2D images. By building on the works made with PRN this thesis propose a new method which produces 3D faces from one front and one side image input. The CNN component of the proposed method is trained on both synthetic and real data. The synthetic data is generated using a synthetic facial generation software. We show that the proposed network is able to predict faces in the MICC Florence dataset with greater accuracy than PRN.