Anomaly Detection with Machine Learning and Deep Learning in Layer 3 Network Traffic

Abstract

Denne masteroppgaven ser på muligheten til å benytte maskinlæring og dyp læring til å utføre anomali deteksjon på lag 3 nettverkstrafikk. Målet med forskningen er å finne passende datasett, utvikle programvare for å pre-prosessere data, og å bygge og teste maskin læring algoritmer og dyp læring modeller, for å øke kunnskapen og bidra til forskningen innenfor området.

Bruk av maskin læring og dyp læring er svært effektive og mye brukt innenfor anomali deteksjon generelt. Det har derfor vært viktig å gjennomføre eksperimenttester for å finne konfigurasjoner med maskinlæring og dyp læring modeller som har akseptabel ytelse for å kunne benyttes til anomali deteksjon. Oppgaven har avdekket ytelsen på maskin læring sammenlignet med dyp læring, og kommet frem til råd for hvordan dyp læring modeller kan designes til forskjellige datasett. Det har også resultert i kunnskap om hvilken rolle feature engineering har for å forbedre ytelsen til dyp læring modeller, og hvordan neural nettverk modeller kan bli lettere å tolke og forstå for nettverks-administratorer og sikkerhetsanalytikere. Disse resultatene gir viktig kunnskap for å øke nettverksikkerhet og ytelse gjennom automatisert, skalerbar og nøyaktig anomali deteksjon.

Resultatet av denne forskningen har demonstrert at dyp læring modeller med ikke-binær klassifisering har signifikant bedre ytelse, enn maskinlæring algoritmer med binær klassifisering, for å utføre anomali deteksjon. Begge ble utført med ikke-veiledende læring.

Dette arbeidet har også identifisert oppgaver som kan følges opp i fremtidig arbeid, for å kunne bruke dyp læring for real-time prosessering i anomali deteksjon. Det å implementere dyp læring modeller som kan prosessere data i real-time med lav forsinkelse er essensielt for å kunne anvende anomali deteksjon i praksis.

This thesis looks at the possibility of using machine learning and deep learning to perform anomaly detection in layer 3 network traffic. The objectives of the research are to find an appropriate data set, develop software to preprocess the data, and to build and test machine learning algorithms and deep learning models, increase knowledge, and contribute to research within the area.

The use of machine learning and deep learning is highly effective and widely adopted within anomaly detection, in general. It has therefore been important to perform experimental tests to find configurations of machine learning algorithms and deep learning models that have acceptable performance for the purpose of anomaly detection. This thesis has resulted in findings on how machine learning perform compare to deep learning, and also advice for how to design deep learning models on different datasets. It has also resulted in knowledge for what role feature engineering plays in enhancing performance of deep learning neural networks, and how neural network models can be more interpretable and explainable for network administrators and security analysts. These results offer powerful knowledge to improve network security and performance through automated, scalable, and accurate anomaly detection mechanisms.

The results of this research demonstrated that deep learning models with non-binary classification had significant better performance, than machine learning algorithms with binary classification, to perform anomaly detection. Both were performed with unsupervised learning.

This work has also led to interesting tasks to be followed up in future work, to be able to use deep learning for real-time processing for anomaly detection. Implementing deep learning models that can process data in real-time with low latency is essential for practical applications in anomaly detection.