Targeted Black Box Adversarial Attacks On Deep Learning Image Retrieval

Abstract

Helt siden oppdagelsen har fiendtlige eksempler fengslet forskere på tvers av forskjellige domener innen maskinlæring. I denne avhandlingen vil fiendtlige eksempler utforskes nærmere, med et spesielt fokus på å lage fiendtlige bilder som blir feilklassifisert med en høy grad av sannsynlighet til en bestemt klasse, i et svart-boks miljø og innen bildesøk. I oppgaven ble det gjort et forsøk på å designe, implementere og teste en metode som bruker forsterket læring for å forbedre en eksisterende metode som genererer målrettede, svart-boks fiendtlige eksempler mot en bildesøkspipeline. Avhandlingen forsøker først å designe og legge frem de generelle egenskapene av rammeverket og de formelle problemstillingene som trengs å adresseres når man skal implementere rammeverket. Dette designet er basert på likheter funnet i tidligere verk knyttet til fiendtlige eksempler og bildesøk. Deretter fokuserer oppgaven på å designe og lage den spesifikke implementasjonen basert på det foreslåtte overhengende rammeverket. Når implementasjonen var på plass, ble det kjørt eksperimenter for å teste og evaluere rammeverket og ytelsen. Selv om inkorporeringen av forsterket læring, i tråd med det utviklede designet, resulterte i marginale forbedringer i suksessraten for målrettede angrep, legger denne oppgaven grunnlaget for fremtidige implementeringer. Oppgaven fungerer som en initiell utforskning av et komplekst landskap, og tilbyr en grunnleggende, men innsiktsfull granskning som legger grunnlaget for videre fremskritt innenfor feltet. Oppgaven belyser også de grunnleggende utfordringene som oppstår ved fiendtlige angrep på bildesøksssystemer, og peker på områder som er modne for fremtidig forskning.

Ever since its discovery, adversarial examples have captivated researchers across various domains of machine learning. This thesis delves into the flourishing realm of adversarial examples, focusing specifically on crafting adversarial images that are misclassified with a high degree of certainty to a specific class in a black box setting and within the field of image retrieval. An attempt was made to design, implement, and test a method that uses reinforcement learning to improve an existing method that generates targeted black box adversarial examples against an image retrieval pipeline. First, the thesis designs the general properties of the framework and the formal problems that need to be addressed when attempting to create an actual implementation. This design is based on similarities found in previous works within the field of adversarial examples and image retrieval. Second, the focus was to design and create the specific implementation, based on the bedrock of the generic design. Finally, experiments were run to test the framework and evaluate its performance. While the incorporation of reinforcement learning, as per the devised design, yielded marginal enhancements in the success rate of targeted attacks, this thesis lays the groundwork for future iterations of implementation. It serves as an initial venture into a complex landscape, offering a rudimentary yet insightful exploration that sets the stage for further advancements. Moreover, it sheds light on fundamental challenges encountered in adversarial attacks on image retrieval systems, pinpointing areas ready for future investigation.