Improving security visibility with event correlation

Abstract

Sikkerhetsanalytikere er hjørnesteinen i moderne informasjonssik- kerhet hvor de analyserer logger og alarmer, sikrer nettverk, data- maskiner og tjenere, og håndterer informasjonssikkerhetshendelser som oppstår. Analytikere er ikke en utømmelig kilde, og som andre ressurser så har de begrenset med tid. I tillegg øker sannsynligvis antall alarmer over tid. Å automatisere en av de mest, om ikke den mest kritiske, delen av jobben deres, å analysere alarmer, kan fri- gjøre tid for å lage enda sikrere systemer. Denne masteroppgaven presenterer en fremgangsmåte for å sortere ut de fleste alarmene, slik at bare de avvikende alarmene blir igjen til analytikerne. Frem- gangsmåten baserer seg på PCA, selvkodende neurale nett, klustering med K-means, og tidsserier. Dette vil kanskje redusere lasten som analyse av alarmer kan være for analytikerne, og at dette frigjør tid så analytikerne kan jobbe mot enda mer og bedre informasjonssikkerhet. Fremgangsmåten vår reduserte datasettet med alarmer til en femte- del av opprinnelig størrelse. Da vi sammenlignet dette datasettet med et lite datasett som analytikere hos Sikt hadde analysert for oss, viste dette lovende resultater. De fleste alarmene som de hadde markert som interresante forble i det reduserte datasettet.

Cyber analysts are the keystone of modern cybersecurity, analyzing events and alerts, securing networks, computers, and servers, and responding to incidents. Nevertheless, analysts are not an infinite source, and as with most others, their time is limited. In addition the amount of alerts likely increases over time. Automating one of the most critical parts of their job, the alert analysis, would free up time for work on additional security. This thesis presents a method for sorting out most of the alerts, leaving the outliers for manual evaluation, using Principal Component Analysis (PCA), Autoencoding Neural Network, K-means clustering, and time series. This might reduce the strain of alert analysis on the analysts, counteracting fatigue from loads of alerts, and freeing time for additional and better security. Our method reduced the alert dataset to one-fifth of its original size. Comparison with a small set of manually classified alerts, evaluated by analysts at Sikt, shows promising results in keeping the interesting alerts in the reduced dataset.