An Empirical Study on Cross-data Transference of Adversarial Attacks on Object Detectors

Abstract

Objektdetektorer blir stadig mer brukt i sikkerhetskritiske scenarier, inkludert autonome kjøretøy. Nyere studier har funnet at nevrale nettverk har en grunnleggende svakhet for fiendtlig støy . Å angripe objektdetektorer med fiendtlig støy, innebærer å legge til nøye valgt støy i inputen, som får objektdetektoren til å gjøre feil. For å sikre at disse sikkerhetskritiske systemene er pålitelige, må risikoen for slike angrep være kjent.

Denne avhandlingen undersøker fiendtlig støy angrep der angriperen ikke har tilgang til objektdetektoren under angrep, eller dens treningssett. Å utarbeide et angrep i dette scenariet krever at angriperen trener sin egen modell på data som ligner målet sitt treningssett, så mye som mulig. Ved å bruke sin egen modell som surrogat, kan angriperen generere fiendtlig støy uten direkte tilgang til målet. Eksperimenter med denne typen angrep vil avgjøre om man effektivt kan angripe den private modellen ved hjelp av offentlige data.

For å angripe Darknet modeller med Targeted Objectness Gradient (TOG) familien av angrep, ble rammeverket utviklet av Chow et al.[1] modifisert. Modifikasjonene gjorde at rammeverket generert bilder med fiendtlig støy som Darknet-modellene kunne gjøre deteksjoner på.

Angrepsytelsen på fiendtlig støy overført mellom angreps- og målmodellen, er lav til å begynne med. Derimot, hvis en øker epsilon fra 8 til 24 under L_inf avstandsmetrikken, styrker overføringen og reduserer måldetektoren sin mAP til omtrent halvparten. Overføring studeres også når datasettene for den angripende modellen og målmodellen har overlapp. Angrepsytelse er funnet å være proporsjonal med størrelse på overlappen. Med sterkere overføring grunnet overlapp i datasettene, kan epsilon settes ned til 16 og beholde angrepsytelsen.

Object detectors are increasingly deployed in safety-critical scenarios, including autonomous vehicles. Recent studies have found that neural networks are fundamentally weak to adversarial attacks. Adversarial attacks on object detectors involve adding a carefully chosen perturbation to the input, which causes the object detector to make mistakes. To make sure these safety-critical systems are trustworthy, the risks of adversarial attacks must be known.

This thesis investigates adversarial attacks where the attacker does not have access to the target detector or its training set. Devising an attack in this scenario requires the attacker training their own model on data which resembles the target detector's training set as much as possible. Using their own model as a surrogate, lets the attacker generate adversarial attacks without accessing the target detector. Experiments with this type of attack will establish whether one can effectively attack the private model using public data.

To attack Darknet models with the Targeted Objectness Gradient (TOG) family of attacks, the attack framework developed by Chow et al.[1] was modified. The modifications made the framework output adversarial samples, Darknet models could make predictions on.

Though initial transference between the attacking and target model is low, increasing epsilon from 8 to 24 under the L_inf distance metric strengthens transference, and reduces the target detector mAP by about half. Transference is also studied when the datasets for the attacking and the target model intersect. Attack performance is found to be proportional with the intersection. With the stronger transference afforded by intersecting datasets, epsilon can be dropped to 16 and retain the attack performance.