Partial-face Recognition using Patch-based Deep Learning: An experiment of face recognition on masked faces

Abstract

Behovet for delvis ansiktsgjenkjenning for å gjenkjenne delvis-ansikter fra CCTV-opptak eller andre bilder eksisterte siden fremveksten av teknologi. Når de prøver å gjøre en forbrytelse, dekker gjerningsmennene ansiktet sitt for å skjule identiteten sin fra loven. De binder enten et lommetørkle eller bandana mens de begår forbrytelser som ran, kidnapping osv. Behovet for å gjenkjenne disse ansiktsdekte kriminelle har også skapt et behov for delvis ansiktsgjenkjenning. Men behovet har økt i dagens virkelighet, hvor bruk av ansiktsmaske har blitt en nødvendighet for å holde seg frisk. Å ha et system med delvis ansiktsgjenkjenning med høy effektivitet vil forbedre sikkerhetssystemene som passkontroll, tilgangskontroll og biometrisk ansiktsautentisering uten at folk trenger å fjerne ansiktsmasker. Denne oppgaven foreslår en metode som bruker en patchbasert tilnærming til dyp læring for ansiktsgjenkjenning av delvis ansikter dekket av ansiktsmasker. Ansiktsområdene til maskerte dekkede ansikter blir først lappet, og lappene brukes deretter til å trene et pre-trent dypt Convolutional Neural Networks (CNN), FaceNet. Modellene som ble opprettet etter opplæring av CNN med disse lappene, brukes deretter til ansiktsgjenkjenning. To fusjonsteknikker (Score-level og feature-level fusion) for lappene ble brukt, hvorav Score-level fusion ga de beste resultatene. Metodene som brukes i denne oppgaven består i å bruke et 3D ansiktsmaskeringsverktøy for å lage maskerte datasett, ansiktsgjenkjenning og -justering, en patchbasert overføringslæring og finjustering av en pre-trent deep learning-modell (FaceNet), funksjonsutvinning ved hjelp av den trente modeller, og sammenslåing av poengsum og funksjonsnivå av de forskjellige lappene. Det siste trinnet med å bruke poengsumnivåfusjonen ga lovende resultater på begge testdatasettene. Det ga en nøyaktighet på 86,75% og EER på 13,25% for FEI-datasett, og nøyaktighet på 91,395% og EER på 8,605% for TUFTS-datasett. Dette viser at delvis tildekkede ansikter av ansiktsmasker muligens kan gjenkjennes ved å bruke patchbasert dyp læring med høy nøyaktighet. Vi tror ytelsen kan forbedres ved å bruke mer variert ansiktsbildedatasett med høyt antall bilder, og posisjons- og belysningsvariasjoner for å trene modellene. Metoden kan også forbedres ved å erstatte tripletapsfunksjonen med hierarkisk tripletapsfunksjon eller quadruplet loss-funksjon, og ved å øke antall lapper for den patchbaserte dyplæringen. I fremtiden kan denne avhandlingen utvides for ansiktsgjenkjenning av andre delvis-ansiktsbilder.

Nøkkelord: Convolutional Neural Network, Transfer Learning, Finetuning, Patch-based, Deep Learning, Partial-face Recognition, Support Vector Machine.

The need for partial-face recognition to recognize partial-faces from CCTV footages or other pictures existed since the rise of technology. When attempting to do a crime, perpetrators cover their face to conceal their identity from the law. They either tie a handkerchief or bandana while committing crimes like robbery, kidnapping etc. The need to recognize these face covered criminals has also created a need for partial-face recognition. But the need has increased in today’s reality where wearing a face mask has become a necessity to stay healthy. Having a partial-face recognition system with high efficiency will improve the security systems like passport control, access control and biometric face authentication without the need for people to remove their face masks. This thesis proposes a method using a patch-based approach on deep learning for face recognition of partial-faces covered by face masks. The face areas of masked covered faces are first patched, and the patches are then used to train a pre-trained deep Convolutional Neural Networks (CNN), FaceNet. The models created after training the CNN with these patches are then used for face recognition. Two fusion techniques (Score-level and feature-level fusion) for the patches were used out of which Score-level fusion gave the best results. The methods used in this thesis consists of using a 3D face masking tool to create masked datasets, face detection and alignment, a patch-based transfer learning and fine tuning of a pre-trained deep learning model (FaceNet), feature extraction using the trained models, and score-level and feature-level fusion of the different patches. The final step of using the score-level fusion gave promising results on both test datasets. It gave an accuracy of 86.75% and EER of 13.25 % for FEI dataset, and accuracy of 91.395% and EER of 8.605% for TUFTS dataset. This shows that partially covered faces by face masks can possibly be recognized by using patch-based deep learning with high accuracy. We believe the performance can be improved by using more diverse face image dataset with high number of images, and pose and illumination variations for training the models. The method can also be improved by replacing the triplet loss function with hierarchical triplet loss function or quadruplet loss function, and by increasing the number of patches for the patch-based deep learning. In the future, this thesis can be extended for face recognition of other partial-face images.

Keywords: Convolutional Neural Network, Transfer Learning, Finetuning, Patch-based, Deep Learning, Partial-face Recognition, Support Vector Machine.