3D face tracking using Geometric Deep Learning

Abstract

Fjessporing er et aktivt forskningsemne, spesielt etter at dyplæring og konvulsjons neurale nettverk kom på banen. Den aktive forskningen forholder seg for det meste til 2D bilder og videoer. Denne avhandlingen ser på fjessporing på 3D modeller og punkt skyer ved å bruke eksisterende Geometrisk Dyplærings teknikker.

Vi foreslår bruk av segmenteringsdelen av nettverket PointNet++ for fjessporing på 3D modeller. Vi har lagt til et etterbehandligssteg som gir et Ja eller Nei svar for ansiktsgjenkjennelse, samt uthenting av predikerte ansiktsregioner fra nettverket.

Det benyttes en blanding av BU3DFE datasettet sammen med et proprietært datasett som er skapt av FaceGen programvaren og ModelNet10 datasettet fra Princeton. Løsningen vår ender opp med en Snitt over Union score på 98%, og en ansiktsgjennkjennelses rate på 99.7%. Den sliter med å oppnå liknende resultater på mer kompleks data, for eksempel hodemodeller kontra ansiktsmodeller.

Face tracking has been an active field of study, especially with the advent of Deep learning and Convolutional Neural Networks. Most of the active research has been in the realm of 2D images and real time videos. This thesis looks into face tracking in the realm of 3D meshes and point clouds instead, using existing techniques from the field of Geometric deep learning.

We propose an application for the segmentation version of the PointNet++ network for the purpose of performing face tracking on 3D meshes. It adds a post-processing step that extracts a yes or no answer for face detection purposes, as well as extracting predicted face regions on the mesh for tracking purposes.

We use a mixture of the BU3DFE facial emotion recognition dataset together with a proprietary dataset made with the FaceGen software and the ModelNet10 dataset from Princeton. Our proposed solution achieves an Intersection over Union score of about 98% on the validation dataset, and a face detection rate of 99.7%. The solution struggles with achieving similar results on more complex inputs, e.g. full head meshes instead of face-only meshes.