Benchmarking CSIRT work processes

Abstract

NORSK: Nødvendigheten av å sikre informasjonssystemene i en organisasjon akseptert i dag. Organisasjoner implementerer preventive tiltak for å hinder angripere og ondsinnet programvare tilgang til informasjonssystemene. Større organisasjoner etablerer også insident respons teams, CSIRTs, fordi man innser at ikke alle angripere blir stoppet før de kommer inn. En kompromittering av sikkerheten til informasjonssystemene kan føre til store ødeleggelser dersom de ikke blir tatt hånd om. Etter etableringen av et CSIRT blir det sjelden gjort en evaluering av effektiviteten til teamet, så lenge det håndterer de hendelser som oppstår. I denne oppgaven har vi utviklet et sett med metrikker for å måle ytelsen til arbeidsprosessene i et CSIRT. Metrikkene baserer seg på hvor godt ulike policyer og prosedyrer er implementert, tidsforbruket i insident håndteringen, og resultatene av de undersøkelser som blir gjennomført. For å vise hvordan man kan bruke metrikkene til å forbedre arbeidsprosessene i et CSIRT, ble det gjennomført et benchmarking eksperiment. Benchmarkingen ble gjennomført ved å sende ut et spørreskjema til flere store organisasjoner som man visste hadde etablert et team for å håndtere sikkerhetstruende hendelser på sine informasjonssystemer. Svarene de ulike organisasjonene gav i spørreskjemaet ble brukt som inngangsverdier til metrikkene. Ved å bruke disse metrikkene i en benchmarking mellom flere CSIRTs har vi kunnet rangere teamene innbyrdes, og fått innblikk i hvilke områder de ulike teamene fungerer bra og hvor det er rom for forbedring.

ENGELSK: The need for securing the information systems within an organization is well understood today. Organizations implement preventive measures to stop malicious software and attackers at their gates. Larger organizations also establish computer security incident response teams, CSIRTs, this in the recognition that not all attackers or malicious software are stopped. A compromise of the information systems security may cause great damage, and, if not responded to quickly, put the organization out of business. After establishing a CSIRT, the performance of the team is seldom evaluated, as long as the team resolves the incidents that occur. In this thesis we have developed a set of metrics to measure the performance of the work processes in a CSIRT. The metrics are based on how well different policies and procedures are implemented, time consumption in the incident handling and the results of the investigation conducted. To show how these metrics can be used to improve the work processes in the CSIRT, a benchmarking experiment was conducted. The benchmarking was accomplished by sending out a questionnaire to several large organizations which we knew had established a team to handle security incidents on their information systems. The answers given in the questionnaire were used as input to the metrics. By using the metrics in a benchmarking between CSIRTs, we have been able to rank the teams, and gained insight in what areas the different teams perform well and where they perform poorly.