Data-driven Approach to Information Sharing using Data Fusion and Machine Learning

Abstract

The number of security incidents worldwide is increasing, and the capabilities to detect and react is of uttermost importance. Intrusion Detection Systems (IDSs) are employed in various locations in networks to identify malicious activity. These sensors produce large amounts of data, which are fused and reduced. It is necessary to determine how to perform such fusion and reduction of data from heterogeneous sources. IDS is known to produce a high amount of false positives which create a high workload for human analysts at Security Operation Center (SOC). To ensure scalability, systems for reducing and streamlining the detection process is critical. The application of Threat Intelligence (TI) in information security for detection and prevention is widespread. When performing sharing of TI, it must be ensured that the data is reliable and trustworthy. Further, it must be guaranteed that the sharing process leaks sensitive data. This thesis has proposed a process model describing the process of fusion and reduction of heterogeneous sensor data and TI in intrusion detection. Our work is based on a literature study and qualitative research interviews with security experts from law enforcement and public and private organisations. Further, an identification of reliable and trustworthy features in such fused and reduced data for use in Machine Learning (ML) is given. We have applied data-driven methods on a real-world dataset from a SOC for this identification, and evaluate our results using well-known performance measure. Our results show that the application of ML can be used for prediction and decision support in the operation of SOC. We also provide an identification of sensitive features from the features selected by our data-driven experiments.

Antall sikkerhetshendelser i verden øker, og mulighetene for deteksjon og reak- sjon er kritisk. Intrusion Detection System (IDS)er blir plassert i forskjellige lokasjoner i nettverk og systemer for å kunne identifisere ondsinnet aktivitet. Disse sensorene produserer store mengder data som må bli fusjonert og redusert. Det er derfor viktig å definere hvordan slik datafusjonering og -reduksjon skal gjøres når man har et stort antall heterogene sensorer. Det er kjent at IDSer pro- duserer store mengder falske positiver, som igjen skaper store mengder unød- vendig arbeid for sikkerhetsanalytikere i en Security Operation Center (SOC). For å tilrettelegge skalering er det kritisk med systemer som kan reduserer og effektivisere deteksjonsprosessen. Bruken av trusseletteretning for deteksjon og prevensjon i informasjonssikkerhetsmiljøet er utbredt. Når trusseletteretning blir delt, er det sentralt at den delte informasjonen er pålitelig, og at man unngår å dele sensitiv informasjon. Denne oppgaven foreslår en prosessmodel som beskriver fusjonering og reduksjon av data fra heterogene sensorer og trusseletteretningskilder. Vårt arbeid er basert på en litteraturstudie kombinert med kvalitative forskn- ingsintervjuer med sikkerhetseksperter fra politimyndigheter og offentlige og private organisasjoner. Videre så har vi identifisert attributer i slik fusjonert og redusert data som kan brukes i maskinlæring. Dette ble gjort via en datadrevet fremgangsmåte på et datasett fra en SOC med data fra den virkelige verden. Videre så ble resultatene våre evaluert med kjente metoder for ytelsesmåling. Våre resultater viser at bruken av maskinlæring for prediksjon og beslutningsstøtte i daglig operasjon av en SOC er mulig. Videre så har vi identifisert sensitive at- tributer fra attributene valgt av våre datadrevne eksperimenter.