Face recognition in a border control environment: non-zero effort attacks' effect on false acceptance rate

Abstract

NORSK: Ansiktsgjenkjenning er en biometrisk autentiseringsmetode som har blitt mer og mer relevant de siste årene. Fra å være for unøyaktig, har det blitt en mer moden teknologi som skal brukes i det nye Visa Information System. Fra de tidligere FERET evalueringene til de mer nylige Face Recognition Vendor Test 2000 og 2002 evalueringene har vi sett en betydelig forbedring innen ansiktsgjenkjenning. Det er til og med påstått at man ved bruk av 3D ansiktsgjenkjenning kan skille mellom identiske tvillinger. Gjennom forskningsprosessen har vi sett at ansiktsgjenkjennings teknologien helt klart har modnet siden den første formen for ansiktsgjenkjenning, men det er fortsatt flere angrep som er mulige mot bruk av ansiktsgjenkjenning. Noen av angrepene som er gjennomgått i denne rapporten er spesifikke for ansiktsgjenkjenning, mens andre vil gjelde også for andre autentiseringsmetoder. Det bør taes hensyn til disse angrepene når man skal benytte ansiktsgjenkjenning. Som Kosmerlj poengterer i sin rapport så gjenstår det fortsatt en del arbeid for å bedre ansiktsgjenkjenningsmetodene før de kan benyttes i høysikkerhetsinstallasjoner eller i stor-skala applikasjoner. En metode for å redusere antall mennesker som blir falskt akseptert er ved å kombinere et ansiktsgjenkjenningssystem med menneskelig overvåking. For å evaluere den ekstra verdien av å benytte en menneskelig vakt, utførte vi et eksperiment hvor vi undersøkte om et menneske vil kunne detektere de falske aksepter som et system har gjort, og rollen hår har for menneskelig gjenkjenning av ansikter. Studien viste at et menneske i gjennomsnitt detekterer nesten 80 % av feilene et datamaskinbasert system gjør. Videre viser studien at menneskers evne til å gjenkjenne ansikter er en funksjon av hår; falsk aksept raten var signifikant høyere for bildepar hvor hår var fjernet i motsetning til når det ikke var fjernet. Dette indikerer at en bedrager faktisk har en betydelig mulighet til å omgå en menneskelig vakt ved å bruke enkle og billige metoder. Hår er et ansiktstrekk som lett kan manipuleres, og dette er kanskje den enkleste og billigste form for såkalt non-zero-effort attacks på et ansiktgjenkjenningssystem.

ENGELSK: Face recognition is a biometric authentication method that has become more and more relevant in the recent years. From being too inaccurate, it is becoming a more mature technology deployed in large scale systems like the new Visa Information System. From the earlier FERET evaluations to the more recent Face Recognition Vendor Test 2000 and 2002 evaluations we have observed significant improvements in face recognition. Systems based on 3D face recognition even claims to distinguish between identical twins. During our research we have seen that even though face recognition have greatly matured since the earliest forms, there still exists several possible attacks against this technology. Some of the attacks reviewed in this report are specific to face recognition, while others apply for all authentication methods. During the deployment process of face recognition, these attacks should be taken in consideration. As Kosmerlj stated in her thesis; there is still work to be done to improve face recognition before it can be applied in high security settings or applied in large scale applications. One method to reduce the number of people being falsely accepted is by combining the face recognition system with human supervision. To survey the additional value of a human supervisor, we conducted an experiment where we investigated whether a human would detect false acceptances made by a computerized system, and the role of hair in human recognition of faces. The study showed that, on average, humans were able to detect almost 80 % of the errors made by the computerized system. More over, the study shows that the ability of an individual to recognize a human face is a function of hair: the false acceptance rate was significantly higher for the image-pairs where the hair was removed compared to where it was present. This indicates that there is in fact a substantial opportunity for an impostor to circumvent the human guard using simple and cheap methods. Hair is a feature that may be easily manipulated, and this is perhaps the easiest and cheapest form of non-zero-effort attack on a face recognition system.