Multi-modality quality assessment for unconstrained biometric samples

Abstract

The aim of this research is to investigate multi-modality biometric image quality assessment methods for unconstrained samples. Studies of biometrics noted the significance of sample quality for a recognition system or a comparison algorithm because the performance of the biometric system depends mainly on the quality of the sample images. The need to assess the quality of multi-modality biometric samples is increased with the requirement of a high accuracy multi-modality biometric systems. In this thesis we describe the work carried out to use no-reference image quality metrics for the assessment of multi-modality biometric sample images. The intended behavior of such metrics is to evaluate or predict the quality of natural image as human observers would perceive it. Following an introduction and background in biometrics and biometric sample quality, we introduce the concept of biometric sample quality assessment for multiple modalities. Recently established ISO/IEC quality standards for fingerprint, iris, and face are presented. In addition, sample quality assessment approaches which are designed specific for contact-based and contactless fingerprint, nearinfrared-based iris and visible wavelength iris, as well as face are surveyed. Following the survey, approaches for the performance evaluation of biometric sample quality assessment methods are also investigated. Based on the knowledge gathered from the biometric sample quality assessment challenges, we propose a common framework for the assessment of multi-modality biometric image quality. We review the previous classification of image-based quality attributes for a single biometric modality and investigate what are the common image-based attributes for multi-modality. Then we select and re-define the most important image-based quality attributes for the common framework. In order to link these quality attributes to the real biometric samples, we develop a new multi-modality biometric image quality database which has both high quality sample images and degraded images for contactless fingerprint, visible wavelength iris, and face modalities. The degradation types are based on the selected common image-based quality attributes. Another important aspect in the proposed common framework is the image quality metrics and their applications in biometrics. We first introduce and classify the existing image quality metrics and then conducted a brief survey of no-reference image quality metrics, which can be applied to biometric sample quality assessment. Plus, we investigate how no-reference image quality metrics have been used for the quality assessment for fingerprint, iris, and face biometric modalities. From the fingerprint quality ISO/IEC standard we already know what kind of degradations that can affect the performance of a fingerprint recognition system, however, it is not clear if the system performance will be influenced, or to what extent. Therefore, an experiment is conducted to investigate how a number of selected image degradations influence the performance of a fingerprint recognition system, and, influence the performance of a fingerprint quality assessment approach. According to the availability of open source biometric recognition applications, the existing contact-based fingerprint recognition algorithms have difficulties to extract the minutiae from the high quality contactless fingerprint images from our database. Therefore, we review 10 existing methods for the enhancement of contact-based fingerprint and select two suitable methods to verify whether they can be applied to contactless fingerprint. Finally, we propose an improved 3-step contactless fingerprint image enhancement approach for the minutia extraction. However, after the image enhancement process, the number of detected minutiae is still under an acceptable level. We decide to leave contactless fingerprint for our further study. The experiments for the performance evaluation of no-reference image quality metrics for visible wavelength face and iris modalities are conducted. The experimental results indicate that there are several no-reference image quality metrics that can assess the quality of both iris and face biometric samples. Lastly, we optimize the best metric by re-training it. The re-trained image quality metric can provide better recognition performance than the original. Through the work carried out in this thesis we have shown the applicability of no-reference image quality metrics for the assessment of unconstrained multi-modality biometric samples.

Sammendrag - Målet med denne forskningen er å undersøke biometrisk bildekvalitet med flere modaliteter i ukontrollerte omgivelser. Tidligere forsknings innen biometri har påpekt betydningen av bildekvalitet for et gjenkjennelsessystem eller sammenligningsalgoritmer fordi ytelsen til det biometriske systemet avhenger hovedsakelig av kvaliteten av bildene. Behovet for å vurdere kvaliteten på multimodale biometriske bilder øker med kravet om høy nøyaktighet i multimodale biometriske systemer. I denne avhandlingen beskriver vi arbeidet som utføres for å gjøre beregninger av bildekvalitet uten referansebilder for vurdering av biometriske bilder med flere modaliteter. Den tiltenkte oppgaven til slike beregninger er å evaluere eller forutsi kvaliteten på det naturlige bildet som menneskelige observatører ville oppleve det. Etter en introduksjon og bakgrunn i biometri og biometrisk kvalitet, presenterer vi begrepet biometrisk bildekvalitet vurdering for flere modaliteter. Nylig etablerte ISO / IEC kvalitetsstandarder for fingeravtrykk, iris og ansikt blir presentert. I tillegg tilnærmes bildekvalitetsvurdering som er konstruert spesifikt for kontaktbaserte og kontaktløse fingeravtrykk, nærinfrarødbasert iris og synlig bølgelengde iris, samt ansikt blir undersøkt. Etter dette, undersøker vi ytelsesevaluering av biometriske bildekvalitetsmetoder. Basert på kunnskap samlet fra dagens utfordringer innen biometriske bildekvalitetsevaluering, foreslår vi et felles rammeverk for vurdering av multimodal biometrisk bildekvalitet. Vi går igjennom tidligere klassifisering av bildebaserte kvalitetsattributter for hver biometrisk modalitet og undersøker hva som er vanlig bildebaserte attributter for multimodale biometriske systemer. Basert på dette velger vi og definerer de viktigste bildebaserte kvalitetsattributter for det felles rammeverket. For å knytte disse kvalitetsattributene til de virkelige biometriske bildene utvikler vi en ny biometrisk bildekvalitetsdatabase med flere modaliteter, som har både høy kvalitets bilder og forringede bilder for kontaktløse fingeravtrykk, synlig bølgelengde iris og ansikt. Forringede bilder er basert på vanlige bildebaserte kvalitetsattributter. Et annet viktig aspekt i det foreslåtte rammeverket er bildekvalitetsmålinger og deres applikasjoner i biometri. Først introduserer og klassifiserer vi eksisterende bildekvalitetsmetrikker og deretter viser vi en oversikt over ikke-referanse bildekvalitetsmetrikker uten referansebilde som kan brukes til biometrisk bildekvalitetsvurdering. I tillegg undersøker vi hvordan bildekvalitetsmetrikker har blitt brukt til kvalitetsvurdering for fingeravtrykk, iris og ansikt. Fra ISO / IEC-standarden for fingeravtrykkskvalitet vet vi allerede hva slags forringelse av bildene som kan påvirke ytelsen til et fingeravtrykksgjenkjenningssystem. Det er imidlertid ikke klart om systemytelsen vil bli påvirket, eller i hvilken utstrekning. Derfor utføres et eksperiment for å undersøke hvordan et antall valgte bildeforringelser påvirker ytelsen til et fingeravtrykksgjenkjenningssystem, og sammenhengen mellom kvalitetsvurdering av bildene og ytelsen av systemet. I henhold til tilgjengeligheten av åpen kildekode biometrisk anerkjennelsesprogrammer, har de eksisterende kontaktbaserte fingeravtrykksgjenkjenningsalgoritmene problemer med å trekke ut referansepunkter fingeravtrykksbildene med høy kvalitet fra vår database. På grunn av dette tester vi 10 eksisterende metoder for forbedring av kontaktbasert fingeravtrykk, og velger to egnede metoder for å kontrollere om de kan brukes til kontaktløse fingeravtrykk. Til slutt foreslår vi et forbedret 3-trinns bildeforbedringsmetode for kontaktløse fingeravtrykk. Imidlertid, etter bildeforbedringsprosessen, er antall referansepunkter fortsatt under et akseptabelt nivå. Vi bestemmer oss for å ikke fortsette forskningen på kontaktløse fingeravtrykk i våre videre studier. Resten av avhandlingen omfatter eksperimenter for ytelsesevaluering av kvalitetsmetrikker uten referansebilde for synlig bølgelengde ansiktsbilder og iris. De eksperimentelle resultatene indikerer at det er flere bildekvalitetsmetrikker som kan vurdere kvaliteten på både iris- og ansiktsbilder. Til slutt optimaliserer vi den beste metrikken, og den optimaliserte metrikken gir bedre ytelse enn originalen. Gjennom arbeidet i denne avhandlingen har vi vist anvendeligheten av bildekvalitetsmetrikker for vurdering av biometriske bilder med flere modaliteter.

Résumé - L’objectif de ces travaux de recherche est d’étudier les méthodes d’évaluation de la qualité des images biométriques multimodales sur des échantillons acquis de manière non contrainte. De nombreuses s études ont noté l’importance de la qualité de l’échantillon pour un système de reconnaissance ou un algorithme de comparaison, puisque la performance du système biométrique est intrinsèquement dépendant de la qualité des images de l’échantillon. Dès lors, la nécessité d’évaluer la qualité des échantillons biométriques pour plusieurs modalités (empreintes digitales, iris, visage, etc.) est devenue primordiale notamment avec l’apparition de systèmes biométriques multimodaux de haute précision. Dans cette thèse, nous décrivons le travail effectué pour étudier l’adaptabilité des métriques de qualité d’image sans référence pour l’évaluation d’images biométriques de plusieurs modalités. Le comportement attendu de ces métriques est d’évaluer ou de prédire la qualité de l’image naturelle telle que le font les observateurs humains. Après une introduction présentant un historique de la biométrie et des préceptes liés à la qualité des échantillons biométriques, nous présentons le concept d’évaluation de la qualité des échantillons pour plusieurs modalités. Les normes de qualité ISO / CEI récemment établies pour les empreintes digitales, l’iris et le visage sont présentées. De plus, des approches d’évaluation de la qualité des échantillons conçues spécifiquement pour les empreintes digitales avec et sans contact, pour l’iris (dont une image est capturée en proche infrarouge et dans le domaine visible), ainsi que le visage sont étudiées. Finalement, des techniques d’évaluation des performances des mesures de qualité des échantillons biométriques sont également étudiées. Sur la base des conclusions formulées suite à l’étude des solutions algorithmiques portant sur l’évaluation de la qualité des échantillons biométriques, nous proposons un cadre commun pour l’évaluation de la qualité d’image biométrique pour plusieurs modalité. Après avoir étudié les attributs de qualité basés sur l’image par modalité biométrique, nous examinons quelle intersection existe pour l’ensemble des modalités. Ensuite, nous sélectionnons et redéfinissons les attributs de qualité basés sur l’image qui sont les plus importants afin de définir un cadre commun. Afin de relier ces attributs de qualité aux vrais échantillons biométriques, nous développons une nouvelle base de données de qualité d’image biométrique multi-modalité qui contient des images échantillons de haute qualité et des images dégradées pour l’empreinte digitale acquise sans contact, l’iris (dont l’acquisition est réalisée dans le spectre visible) et le visage. Les types de dégradation appliqués sont liés aux attributs de qualité qui sont communs aux diverses modalités et qui sont basés sur l’image. Un autre aspect important du cadre commun proposé est la qualité de l’image et ses applications en biométrie. Nous avons d’abord introduit et classifié les métriques de qualité d’image existantes, puis effectué un bref aperçu des métriques de qualité d’image sans référence, qui peuvent être appliquées pour l’évaluation de la qualité des échantillons biométriques. De plus, nous étudions comment les mesures de qualité d’image sans référence ont été utilisées pour l’évaluation de la qualité des empreintes digitales, de l’iris et des modalités biométriques du visage. D’après la norme ISO / CEI portant sur la qualité des empreintes digitales, nous connaissons les types de dégradations qui peuvent affecter les performances d’un système de reconnaissance d’empreintes digitales. Cependant, il n’est pas clair dans quelle mesure les performances du système sont influencées. Par conséquent, une expérience est menée pour étudier de quelle manière les dégradations appliquées sur les images influencent les performances d’un système de reconnaissance d’empreintes digitales, et dans quelle mesure elles influencent les performances des mesures de qualité des empreintes digitales. Les algorithmes existants de reconnaissance d’empreintes digitales acquises par contact ne sont pas nécessairement performants lors de la phase d’extraction des minuties sur les images d’empreintes digitales acquises sans contact et de haute qualité présentes dans notre base de données. Par conséquent, dix méthodes d’amélioration des images d’empreinte digitale acquises avec contact extraites de l’état de l’art sont étudiées. Seules les deux meilleures méthodes dont sélectionnées afin vérifier dans quelle mesure elles sont applicables pour des images d’empreinte digitale acquises sans contact. Finalement, nous proposons une approche d’amélioration des images d’empreinte digitale acquises sans contact pour l’extraction de minuties. Cependant, après application du processus d’amélioration d’image, le nombre de minuties détectées est toujours inférieur à un niveau acceptable. Ceci fera l’objet de travaux ultérieurs afin d’aboutir à un processus d’extraction de minuties cohérent. Des expériences pour l’évaluation de la performance des métriques de qualité d’image sans référence sur les images de visage et de l’iris sont effectuées. Les résultats expérimentaux indiquent qu’il existe plusieurs métriques qui peuvent évaluer la qualité des échantillons biométriques de l’iris et du visage avec un fort coefficient de correlation. La méthode obtenant les meilleurs résultats en terme de performance est ré-entrainée sur des images d’empreintes digitales, ce qui permet d’augmenter significativement les performances du système de reconnaissance biométrique. À travers le travail réalisé dans cette thèse, nous avons démontré l’applicabilité des métriques de qualité d’image sans référence pour l’évaluation d’échantillons biométriques multi-modalité non contraints.