A Survey on Attacks and Defenses Targeting Region Proposals in Object Detectors

Abstract

Objekt detektorer har etablert sin dominans i flere sikkerhetskritiske systemer, samtidig er det et økende antall studier som beviser at de er sårbare mot nøye beregnede forstyrrelser. Disse forstyrrelsene kan føre til feilklassifisering, feilplassering eller at viktige objekter unngår deteksjon. Enhver av disse feilene kan forårsake fatale konsekvenser i sikkerhetskritiske systemer, det er dermed et viktig tema å forske på da bruken av objekt detektorer uunngåelig kommer til å fortsette i et økende tempo.

Nylig har disse angrepene blitt utvidet til å fokusere på modulene som foreslår objekt regioner. Ettersom at denne modulen har fellestrekk som er delt blant de mest brukte detektorene, er dette en svært viktig utfordring.

Denne oppgaven vil se nærmere på denne problemstillingen ved å svare på følgende forskningsspørsmål: Hva er tilstanden til dagens angrep mot modulen for region forslag? Hvor godt er disse angrepene blitt evaluert? Og hvilke forsvar eksisterer for minimere effekten til disse angrepen, eller for å gjøre detektorene robuste mot de?

Disse forskningsspørsmålene besvares gjennom et litteraturstudie, der de nyeste angrepene blir diskutert og sammenlignet for å finne de mest lovende angrepene. Videre er defensive strategier som prøver å dempe disse angrepene presentert og vurdert. Deretter foreslås det en taksonomi for å ytterligere beskrive landskapet for dette feltet, og for å bidra til å klassifisere nye angrep med de samme egenskapene.

Forskningsresultatene i denne oppgaven viser at dagens tilstand for angrep mot regions forslags modulen oppnår god angrep ytelse, samt viser deres evalueringer at flere av disse angrepene generaliserer effektivt for overføring på tvers av detektorer. Dette gjør at regions forslags modulen blir en effektiv angrep overflate, som også deles blant de vanligste objekt detektorene. Til slutt var det bare tre av 16 angrep som er blitt dempet, noe som indikerer et betydelig mellomrom i forsknings om tilstanden til angrep og forsvar for robuste regions forslag.

Object detectors have established their dominance in several safety-critical systems. Meanwhile, there are an increasing number of research proving they are prone to carefully manufactured perturbations, known as adversarial examples. These examples can disrupt the detectors to misclassify, mislocate or even skip important objects in the input. Any of these disruptions can cause fatal consequences in safety-critical systems, thereby being a highly important topic to research as the usage of object detectors inevitably keeps increasing.

Recently, these attacks have extended to targeting the region proposals modules in object detectors, namely the bounding box regressor. This introduces an important issue, as this module is a commonality across the most widely used detectors. This thesis will look into this issue with the following research questions to answer: What is the state of today's attacks against bounding box regression? How well have these attacks been evaluated? And what defenses are there to detect, mitigate or make the models robust against these attack and their evaluations?

These research questions are answered through a literature review, where the most recent attacks are discussed and compared to find the state-of-the-art attacks. Furthermore, defensive strategies that seek to mitigate these attacks are presented and evaluated. To further landscape this field, and help classify new attacks with the same attributes, a novel taxonomy is proposed.

The research results in this thesis show that the state of today's attacks that targets the bounding box regression achieves great attack performance, while their evaluations indicate that several of these attacks generalizes to transfer across detectors. This important feature of the attacks makes the regressor an important attack surface shared across the most common object detectors. Lastly, there were only three of 16 attacks that have been mitigated, indicating a significant research gap between the state of attacks and defenses for robust region proposals.