Fingerphoto Verification Using Siamese Neural Network

Abstract

De siste årene har vi hatt en enorm utvikling av portable enheter. Sensorene i smart-telefoner og bærbare datamaskiner har kommet til det stadiet at de åpner for nye former for biometrisk autentisering. En av disse formene for autentisering, er fingerfotografering. Fingerfotografering gjør at en bruker kan autentiseres og verifiseres kontaktløst gjennom et bilde av en finger. På samme tid som forbrukerelektronikken har blitt bedre har vi sett store fremskritt innenfor maskinlæring. Det blir derfor naturlig å utforske hvorvidt det er mulig å autentisere en bruker ved å bruke de nevnte teknologiene. I vår tese presenterer vi (1) et siamesisk nevralt nettverk for å løse verifisering av fingerfotografier, (2) et stort dataset med fingerfotografier og (3) en MaskRCNN modell, trent til segmentering av bakgrunn og forgrunn samt lokalisere hvor fingeren er i bildet.

Nowadays, the technological evolution of portable devices as smartphones and PCs introduces high-quality sensors, cameras, and tools. Such fact makes it possible to consider the use of fingerphoto (aka. finger selfie) as a biometric authentication method to identify and verify the users of these devices. Fingerphoto is a contactless captured image of a biometric subject finger. Additionally, the parallel evolution in the research field of machine learning makes it interesting to explore its suitability for solving fingerphoto authentication scenarios. In this thesis and according to our methodology, we are presenting (1) a siamese neural network to solve the problem of fingerphoto verification, (2) a large fingerphoto dataset to use for future researches, and (3) a MaskRCNN model that is trained to apply background segmentation and identify the finger location within an inputted image.