Labelling clusters in an anomaly based IDS by means of clustering quality indexes

Abstract

NORSK: Innbruddsdeteksjonssystemer har i de siste årene blitt en viktig komponent i løsninger for nettverkssikkerhet. Disse systemene bruker enten signaturbaserte eller anormalitetsbaserte teknikker for å detektere angrep. Signaturbaserte systemer bruker signaturer av tidligere kjente angrep for å detektere ondsinnet aktivitet. Anormalitetsbaserte systemer derimot, etablerer en grunnlinje med forventet normal aktivitet og genererer en alarm hvis observert aktivitet avviker fra denne grunnlinjen. De fleste systemer er i dag signaturbaserte, men trenden er at anormalitetsbaserte systemer ofte blir brukt i kombinasjon med signaturbaserte systemer. En metode for å klassifisere aktivitet i et anormalitetsbasert system er clustering, dvs. dannelse av såkalte klynger. Et problem som må løses for å bruke clustering i innbruddsdeteksjonssystemer er å tolke hvorvidt en klynge består av normal aktivitet eller angrep, såkalt merking av klynger. En strategi for å løse dette problemet, er å bruke teknikker som undersøker kvaliteten på klyngen for å kontrollere hvorvidt det finnes et massivt angrep i de observerte aktivitetene. Det er da mulig å kombinere disse teknikkene med andre fysiske egenskaper til klyngene for å lage algoritmer som tolker innholdet i klyngene. I denne masteroppgaven har vi undersøkt bruken av Dunn’s index og C-index i en slik strategi for merking av klynger. Disse teknikkene, som evaluerer kvaliteten til klyngene, er brukt i kombinasjon med andre fysiske egenskaper for å utvikle algoritmer for merking av observert aktivitet. C-index krever i sin originale definisjon klynger av lik størrelse for å gi riktig evaluering av kvaliteten på klyngen. Ettersom lik størrelse på klyngene er svært uvanlig i clusteringbaserte innbruddsdeteksjonssystemer, presenterer vi en modifisert Cindex som håndterer situasjoner med ulike klyngestørrelser. En prototype, som simulerer et clustering basert innbruddsdeteksjonssystem, har blitt utviklet for å teste og evaluere ytelsen til de to evalueringsteknikkene i den nevnte strategien for merking av aktivitet. Resultatene fra disse simuleringene viser at bruken av både Dunn’s index og C-index gir nøyaktig merking i denne strategien. Resultatene viser også at strategien, sammenliknet med tradisjonelle strategier for merking, er bedre egnet for merking av aktivitet i situasjoner hvor massive angrep er vanlig.

ENGELSK: Intrusion detection systems have in the recent years become an important part of most defence-in-depth network perimeter security setups. These intrusion detection systems either apply misuse or anomaly based techniques to detect malicious activities. To detect malicious activity, misuse based systems search for signatures of previously known malicious activities. Anomaly based systems on the other side, flag behaviour that deviates from what is expected to be benign activities. Most intrusion detection systems are misuse based, but more and more systems now use a combination of both techniques, where anomaly based techniques are often used to assist the misuse based detection engines. One method for classifying observed activities in an anomaly based intrusion detection system is clustering. A major difficulty regarding clustering based systems is to interpret the nature of the obtained clusters and label them as normal or malicious. One labelling strategy is to apply clustering quality evaluation techniques to determine whether or not a massive attack is present in the observed activities. Then, a combination of these evaluation techniques and cluster parameters can be used to interpret the nature of the clusters. This thesis investigates the application of Dunn’s index and C-index in this labelling strategy. These clustering quality indexes are combined with clustering parameters to develop algorithms for proper labelling of observed activities. The original definition of the C-index requires similar cluster sizes for accurate clustering quality evaluations. As similar cluster sizes are rare in clustering based intrusion detection systems, we propose two modified C-indexes for use in situations with unequal cluster sizes. A prototype, simulating a clustering based intrusion detection system, has been developed to test and measure the performance of clustering quality indexes in this labelling strategy. The results from these simulations show that the application of both the Dunn’s index and the modified C-index in this labelling strategy produce accurate labelling of activity clusters. These results also demonstrate that this labelling strategy outperforms classical cardinality based labelling strategies in heavily attacked environments where massive attacks are frequent.