Mesh-based 3D face recognition using Geometric Deep learning

Abstract

Face recognition has been a very active and challenging task in the Computer Vision field. Performing face recognition based on facial images can be tricky since images are illumination, scale, and pose variant. On the contrary, 3D scans are invariant in regards to the aforementioned aspects.

Primarily, 3D face recognition has been using data-driven approaches, and in later years, projection-based deep learning techniques that project the 3D space to 2D. Such approaches allow the use of traditional convolutional neural network structures to work with 3D data.

The problem with projection-based models is that they remove geometric relationships important for distinguishing faces and that the projection is expensive and slow.

An alternative to this is using Geometric Deep Learning techniques that directly utilize the 3D geometry and data. Currently, very few approaches use any Geometric Deep Learning techniques. Such approaches will in theory perform better as they have greater freedom than a model using the 2D space.

This Thesis proposes a fast mesh-based 3D face recognition approach that inputs meshes directly. To do this, we propose a new feature extraction network based on graph convolutions to extract face features. By using a siamese architecture to compare extracted facial features generated from 3D meshes, the model is able to do both face validation and identification.

The proposed approach achieves close to state-of-the-art performance on three public 3D face benchmarks, i.e., a rank-1 identification rate of 90.2%, 90.1%, and 90.1%, and a verification rate at 0.1% false acceptance rate of 87.6%, 86.0%, and 99.55% on the BU-3DFE, Bosphorus, and FRGCv2 datasets, respectively.

Further, our proposed approach only requires 8 milliseconds to identify a face among a gallery with 466 faces.

Ansiktsgjenkjenning har vært en aktiv og utfordrende oppgave innen datasynfeltet. Å utføre ansiktsgjenkjenning basert på ansiktsbilder kan være vanskelig siden bildene er belysnings-, skala- og positurvariant. 3D-bilder har ikke disse problemene.

Primært har 3D ansiktsgjenkjenning brukt datadrevne metoder, og i senere år, projeksjonsbaserte dyplæringsteknikker som projiserer 3D-rommet til 2D. Disse metodene tillater bruk av tradisjonelle kunstig nevrale nettverksstrukturer for å jobbe med 3D-data.

Problemet med projeksjonsbaserte metoder er at de fjerner geometriske forhold som er viktige for å skille ansikter og at en projeksjon er kostbar og langsom prosess.

Et alternativ til dette er å bruke Geometric Deep Learning teknikker som direkte bruker 3D geometri og data. Foreløpig bruker svært få metoder geometriske dyplæringsteknikker. Slike metoder vil i teorien fungere bedre ettersom de har større frihet enn en modell som bruker 2D-rommet.

Denne masteroppgaven foreslår en rask maskebasert 3D ansiktsgjenkjenningsmetode som tar inn maskenett direkte. Ved å bruke en siamesisk arkitektur for å sammenligne ansiktstrekk laget fra 3D-bilder kan modellen gjøre både ansiktsgjenkjenning og validering.

Den foreslåtte tilnærmingen oppnår god ytelse på tre offentlige 3D-ansikts benchmarks, dvs. en rang-1 identifikasjonsrate på 90,2%, 90,1% og 90,1%, og en verifiseringsrate med 0,1% feilakseptrate på 87,6%, 86,0% og 99,55% for henholdsvis BU-3DFE, Bosporus og FRGCv2 datasettene.

Videre krever vår foreslåtte tilnærming bare 8 millisekunder for å identifisere et ansikt blant en gruppe med 466 ansikter.