3D Face Reconstruction Based On a Single Input Image

Abstract

Dette prosjektet har som mål å rekonstruere et 3D ansikt fra et bilde, noe som resulterer i en modell som ikke er påvirket av ansiktsvinkel eller lys. Dette er et viktig tema for forskjellige fagfelt innenfor datasyn---slik som ansiktsgjenkjenning---grunnet at vanlige 2D bilder er høyst påvirket lys og hvor ansiktet ser i horhold til kamera. I det siste har det vært en oppsving i interesse for slike oppgaver, takket være praktiske bruksområder slik som biometrisk autentisering og identifisering av savnede personer. Denne interessen har ledet til mer forskning, hvor en av de nyligere gjennombruddene er rekonstruksjon basert på to bilder, tatt fra siden og foran. Selv om denne metoden har ført til høyere nøyaktighet enn tidligere, har den lavere brukervennlighet samt at den ikke er brukbar på oppgaver hvor man ikke har to bilder å rekonstruere med slik som video eller tilfeldige bilder funnet på nett. For å kunne rette på dette ble en sammenslåing av to allerede eksisterende metoder foreslått. Denne nye metoden krever kun ett bilde som input men bruker et to-bilders nevralt nettverk for rekonstruksjon. Dette gjøres ved å bruke et ekstra nettverk som genererer en rotert versjon av input-bildet, som sammen med det originale bildet danner input-paret brukt for rekonstruksjon. Selv om denne metoden forventes å være mer nøyaktig enn andre ett-input nettverk, forventes også kjøretiden å bli negativt påvirket, grunnet ekstra overhead som kommer av et ytterligere nettverk. Dette vil ikke bare påvirke brukeropplevelse men også gjøre systemet i ustand til å kjøre på sanntids-oppgaver. På bakgrunn av dette er det anbefalt at ytteligere forskning burde fokusere på hastighet heller enn nøyaktighet.

This project aims to accurately reconstruct 3D faces from a single image for the purpose of generating a pose and illumination invariant model. This is a topic of pivotal importance in a variety of computer vision subfields---such as face recognition---owing to the fact that regular 2D images are heavily affected by lighting conditions and pose. In recent years there has been an increased interest in these types of tasks, thanks to practical applications such as biometric authentication and missing person identification. This interest has led to further research, one of the more recent being methods that use a front- and side-facing input pair to reconstruct 3D faces. While this approach has led to greater accuracy than previously possible, it lacks in ease of use and the ability to be applied for images in-the-wild. To address this a hybrid approach using two existing methods was proposed. This method requires only a single image as input but employs a two-image input network for reconstruction. This is achieved by introducing an additional network whose task is to generate a rotated version of the original input, which in conjunction with said input make up the image-pair used for reconstruction. Although this method is expected to produce significantly more accurate results, the per-image inference time will suffer as a result of the overhead introduced by an additional network. This will not only affect the user experience but also make the system nonviable for certain real-time tasks. For that reason, it is believed that future research should focus on speed rather than accuracy.