Reducing false positives in intrusion detection by means of frequent episodes
Abstract
NORSK:
Innbruddsdeteksjonssystemer har i den senere tid blitt en viktig del av netverkssikkerhet.
Disse systemene bruker enten signaturbasert eller anomliebaserte metoder for å oppdage
angrep. Anomaliebaserte systemer bygger en model over hvordan normal trafikk
er forventet på netverket. Trafikk som ikke passer inn i denne model blir antatt å være
ondsinnet. Signaturbaserte systemer benyter seg av kjente mønstre som er representativt
for angrepet. Normal netverkstrafikk kan ofte bli gjenkjent av signaturene som selv om
de ikke er ondsinnet trafikk, dette gjør at innbruddsdeteksjonssystemer ofte rapporter en
stor mengde med falske alarmer.
Datagraving er en teknikk som leter etter mønstre og sammenhenger mellom data i
en stor data base. Frekvente episoder er en datagravings teknikk som finner mønstre som
ofte opptrer i en sekvens med hendelser. Vi har brukt frekvente episoder til å finne alarm
mønstre som ofte finner sted i en alarm log. Av disse mønstrene lager vi regler som blir
brukt til å fjerne alarmer vi ikke er interresert i. I experimentene våre har vi brukt KDD
Cup ’99 sammen med traffic fra et lite netverk som er en del av Gjøvik Høyskole.
I denne masteroppgaven har vi brukt frekvente episoder til å finne mønstre i innbruddsdeteksjonssystemers
alarm log. Denne teknikken er kjent for å finne mange frekvente
episoder som ikke er relevante eller overflødige. For å løse dette har vi utviklet vår egen
algorithme som finner og fjerner de episodene vi ikke er interresert i å beholde. Det vi
sitter igjen med etter at uønskede episoder er fjernet er et lite set med episoder som blir
brukt til å lage filtrerings relger fra. ENGELSK:Intrusion detection system have become an increasingly important part of network security.
Two types of intrusion detection systems are used, misuse and anomaly. Anomaly
build a model of what is benign traffic, anything deviating from this will be flagged as
malicious activity. Misuse search for pattern or known strings (a.k.a signatures) within
network traffic, any matching traffic will be considered suspicious. How ever, often normal
network traffic produce matches against signatures, creating large amounts of false
alarms.
Data mining techniques looks for patterns or relations between records in a large data
set. Frequent episodes is a data mining technique to find frequently occurring patterns, in
an event sequence. In this thesis we apply frequent episodes as data mining technique to
find patterns of frequently occurring alarms. From these patterns we create rules, which
can be applied to filter out unwanted alarms. Experiment have been preformed on KDD
Cup ’99 data along with traffic from a small private network part of Gjøvik University
College.
This thesis investigate the use of frequent episode data mining to find patterns in intrusion
detection alert logs. Mining for frequent episodes is known for creating a lot of
redundant and irrelevant episodes. We have applied our own algorithm to find and remove
those episodes we do not want to keep. After we have removed unwanted episodes
we are left with a small set of episodes from which we create attribute rules for.