Applications of fault-tolerant software architecture principles in the detection of adversarial attacks

Abstract

I november 2022 publiserte Det europeiske byrå for nett- og informasjonssikkerhet (ENISA) sin 2022 ENISA Trussellandskapsrapport (ETL), som beskriver de observerte truslene i cyberdomenet mellom juli 2021 og juli 2022. I denne rapporten bemerker de seg trusselen stilt av en gruppe med angrep kalt ‘adversarial attacks’. I rapporten beskriver se disse truslene som '... voksende og representerer en stor trussel i ML eller KI-domener.'.

Etter å ha bemerket seg på risikoen lagt frem av slike angrep, ble det tidligere utført et systematisk litteratursøk for å forstå forskningsfeltet knyttet til deteksjon av disse angrepene. Flere forskningsartikler har blitt skrevet med hensikt å finne effektive metoder for å dempe faren for å bli utsatt for slike angrep. En gren av disse metodene handler om å oppdage disse angrepene før maskinlæringmodellen blir utsatt for angrepet. Et mindretall av disse artiklene brukte feiltolerante prinsipper og arkitekturer for å forbedre deres deteksjonsmetodikk. Til tross for deres bruk, gikk disse artiklene ikke mer i detalj om hvordan feiltolerante arkitekturer generelt kan brukes for å detektere ‘adversarial attacks’. Denne avhandlingen ønsker å utforske dette forskningsgapet, ved å nærme seg problemet med å oppdage slike angrep fra et feiltoleranseperspektiv.

Basert på en tilpasset versjon av et autonomt kjøredatasett, nuScenes, ble et bildedatasett generert basert på slike ‘adversarial attacks’. Ved bruk av FGSM, Carlini & WagnerL2, APGD og Shadow Attack ble 60 000 angrepne bilder generert. To feiltolerante arkitekturer ble implementert og opplært til å oppdage disse angrepene. Den første arkitekturen var ‘Recovery Block’, bestående av en implementasjon av 'InputMFS' fra Paula Harder et al. og en overføringslært ResNet-101 modell. Denne arkitekturen ble brukt til å undersøke hvordan multimodell-arkitekturer kan brukes til å oppdage slike angrep.. Den andre feiltolerante arkitekturen var N-Version Programming (NVP). Ved å bruke flere transformasjoner, bevist til å å utbedre angrepsdeteksjon, ble denne arkitekturen brukt til å undersøke hvordan datamangfold kunne påvirke deteksjonsytelsen.

Resultatene fra ‘Recovery Block’ viser at sekvensiell deteksjon er mulig, men krever at de individuelle modellene oppdager disjunkte sett med angrep. Videre er en slik arkitektur sterkt påvirket av feilaktig arkitekturkonfigurasjon. NVP-arkitekturen viser at økninger i data kan gi bedre resultat, men den optimale datasammensetningene kan være vanskelige å fastslå og har en signifikant innflytelse på deteksjonsytelsen. Begge arkitekturene viser at bruksområdet til feiltolerante prinsipper er tilstede, men krever ytterlige hensyn. Som et resultat bør fremtidig forskningsarbeid jobbe med metoder for å mer effektivt avdekke optimale konfigurasjoner og datasammensetninger for både komponentdetektorer og data i feiltolerante deteksjonsarkitekturer.

In November of 2022, the European Union Agency for Cybersecurity (ENISA) released its 2022 ENISA Threat Landscape Report (ETL), which describes the observed threats in the cyber domain between July 2021 and July 2022. In this report, they note the threat posed by adversarial attacks and described it as ‘... growing and represent a major threat in ML or AI domains.’.

Noting this threat, a Systematic Literature Review (SLR) was previously performed in order to understand the research field of detecting these adversarial attacks. Multiple papers have attempted to mitigate the threat posed by producing detection models which detect these adversarial attacks. A small minority of these papers used fault-tolerant principles and architectures to enhance the capabilities of their detectors. However, the SLR noted that these papers only discussed architectures specific to their implementation and did not explore the general concept of utilizing fault-tolerant architectures for detection. This thesis wishes to explore this research gap, by approaching the problem of detecting adversarial attacks from a fault-tolerance perspective.

Based on a customized version of an autonomous driving dataset, nuScenes, an adversar- ial dataset was generated. Using FGSM, Carlini&WagnerL2, APGD, and Shadow Attack, 60 000 adversarial examples were generated. Two fault-tolerant architectures were implemented and trained to detect these attacks. The first was the recovery block, consisting of an imple- mentation of ‘InputMFS’ from Paula Harder et al. and a transfer-learned ResNet-101 model. This architecture would explore how multi-model architectures would detect adversarial at- tacks. The second fault-tolerant architecture was N-Version Programming (NVP). Utilizing multiple transformations, shown to improve detection, this architecture would explore how diversity in data would affect detection performance.

The recovery block results show that sequential detection is viable, but requires disjunct sets of detected attacks and is prone to incorrect configurations of architectures. The NVP architecture shows that increases in data can provide improved performance, but optimal compositions of data can be difficult to discern. Additionally, the composition of data can determine the detection performance across attacks. Both architectures show that fault- tolerant principles are viable, but introduce their own set of considerations. As a result, future works should explore methods to more efficiently determine optimal configurations and compositions of both component detectors and data.