Investigation on the Effect of Flow Sampling Rate on DDoS Detection

Abstract

Distribuerte tjenestenekt (DDoS)-angrep er et problem for Internett-leverandører (ISP). ISPer kan bekjempe DDoS-angrep ved å implementere inntrengingsdeteksjonssystemer (IDS). En vanlig brukt input for en IDS er flytdata samlet inn fra nettverksenheter. Moderne ISPer mottar enorme mengder trafikk, noe som gjør det kostbart å lage nettverksenheter, som rutere, som kan registrere all trafikken. For å redusere kostnadene har flytprøvetaking ofte blitt implementert på enhetene. Prøvetaking vil imidlertid føre til et tap av informasjon for IDS. Målet med dette avhandlingsarbeidet var å undersøke effekten av flytprøvetakingsraten på DDoS-deteksjon.

Avhandlingsarbeidet utviklet to separate forskningsdesign for å undersøke dette. Det første designet dreide seg om å lage datasett som inneholder sannhetsdata med varierende flytprøvetakingsrater. Sannhetsdataene ble opprettet ved å starte åtte unike DDoS-angrep fire ganger i et laboratorienettverk. Disse dataene ble deretter blandet med to separate datasett levert av en ekte ISP, ett fra 2011 og ett fra 2024. Blandingen skapte syv utdata-datasett med forskjellige prøvetakingsrater, fra 100 til 12800. Det andre forskningsdesignet involverte å undersøke effekten på forskjellige DDoS-deteksjonsmetoder når prøvetakingsraten endret seg. Disse metodene inkluderte 20 terskelmetoder og to maskinlæringsmetoder, hver maskinlæringsmetode med tre forskjellige funksjonssett.

Da IDS-en ble implementert på datasettene med en prøvetakingsrate på 100, som ble brukt til å sette en grunnlinjeytelse, produserte den varierte resultater. Bare en av metodene hadde en samlet god ytelse når den klassifiserte de observerte flytene, mens noen metoder viste god ytelse når de klassifiserte spesifikke angrep.

Denne grunnlinjeytelsen ble deretter sammenlignet med ytelsen på datasettene med en lavere prøvetakingsrate. Når man ser på IDS-ens ytelse i å klassifisere hva den kan observere, indikerer funnene i denne avhandlingen at metodene stort sett kan bevare sin effektivitet fra en prøvetakingsrate på 100 til 12800 i å klassifisere hva metoden observerer. Når ytelsen evalueres ved å bruke ikke bare de observerte flytene, men også de flytene som gikk tapt på grunn av prøvetaking, viser det at mye informasjon går tapt på grunn av prøvetaking, og ved en prøvetaking på 12800 er noen angrep nær ved å gå uobservert. Disse funnene reflekterer at hovedproblemet med prøvetaking er at angrep kan gå uoppdaget, ikke fordi deteksjonsmetodene ikke kan klassifisere det de observerer riktig, men fordi de studerte flytene har gått glipp av angrepene etter prøvetaking.

Distributed Denial of Service (DDoS) attacks are a problem for Internet Service Providers (ISP). ISPs can combat DDoS attacks by implementing Intrusion Detection Systems (IDS). A commonly used input for an IDS is flow data collected from network devices. However, modern ISPs receive enormous amounts of traffic, making it expensive to create network devices, such as routers, that can record all the traffic. To reduce the cost, flow sampling has been commonly deployed on the devices. However, sampling will introduce a loss of information for the IDS. So, the goal of this thesis work was to investigate the effect of flow sampling rate on DDoS detection.

The thesis work developed two separate research designs to investigate this. The first design revolved around creating datasets containing ground truth data of varying flow sampling rates. The ground truth data was created by launching eight unique DDoS attacks four times in a lab network. This data was then mixed with two separate datasets provided by a real ISP, one from 2011 and one from 2024. The mixing created seven output datasets with different sampling rates, from 100 to 12800. The second research design involved investigating the effect on different DDoS detection methods when the sampling rate changed. These methods included 20 threshold methods and two machine learning methods, each machine learning method with three different feature sets.

When the IDS was deployed on the datasets with a sampling rate of 100, which was used to set a baseline performance, it produced varied results. Only one of the methods had an overall good performance when classifying the observed flows, while some methods showed good performance when detecting specific attacks.

This baseline performance was then compared to the performance on the datasets with a lower sampling rate. When looking at the IDS's performance in classifying what it can observe, the findings in this thesis indicate that the methods can mostly preserve their effectiveness from a sampling rate of 100 to 12800 in classifying what the method observes. While evaluating the performance using not only the records observed but also the records that were missed because of sampling, it shows that much information is lost because of sampling, and at a sampling of 12800, some attacks are close to going unobserved. These findings reflect that the main issue with sampling is that attacks may go undetected, not because the detection methods cannot correctly classify what they observe, but because the studied traffic records have missed the attacks after sampling.