ChatRange: Designing Cyber Security Exercise Scenarios using Autonomous AI Agents and Artificial Intelligence

Abstract

Planlegging og gjennomføring av cyberøvelser er en tidkrevende prosess. Blant annet estimerer NIST og MITRE å bruke minst en til tre måneder på å planlegge en åtte timers øvelse. Dette skaper et stort problem, der bedrifter ikke er i stand til å håndtere kritiske sikkerhetshendelser, enten på grunn av mangel på ressurser eller på grunn av de høye kostnadene.

For å løse dette problemet har vi utviklet ChatRange. Løsningen bruker Autonome AI-agenter sammen med språkmodeller for å automatisere planleggingsfasen av skrivebordsøvelser. Denne teknologien kan utvikle realistiske scenarioer, blant annet ved å hente informasjon om trusselaktører og sikkerhetshendelser direkte fra internett. Dette kobles så sammen med de eksisterende språkmodellene. Systemet er laget for å enkelt kunne tas i bruk av organisasjonene som ønsker dette da løsningen benytter seg av språkmodeller som leveres som skytjenester.

I en blind studie der en øvelse utviklet av ChatRange ble målt mot en øvelse laget av mennesker scoret ChatRange 0,16 prosent lavere enn kontrollen, målt i seks kvalitetskriterier. ChatRange scoret bedre eller likt i fire av kriteriene. ChatRange ble også målt mot kostnaden for å utvikle et scenario mot den manuelle metoden. Her reduserte ChatRange kostnaden for å utvikle øvelser med 99,81 prosent, fra et estimat på 80 000 kroner per øvelse til kun 150 kroner. Av disse kostnadene er de direkte datakostnadene for å bruke løsningen på 13,10 kroner. Videre automatisering kan redusere dette tallet ytterligere.

ChatRange leverer både i kvalitet og effektivitet og beviser at autonome AI-agenter og store språkmodeller er gode verktøy for disse formålene.

Planning cyber training exercises is a time-consuming process. For an eight-hour tabletop exercise, NIST and MITRE estimate a total of one to three months of planning time has to be estimated. This creates a gap where companies cannot train for critical events due to time or the cost of training. To tackle this issue we developed a system named ChatRange, using Autonomous AI agents together with Large language models to automate the planning process of tabletop exercises. The new technology is able to research realistic scenarios using tools to provide external real-world information into existing large language models. The system is able to be implemented easily by only providing API keys to the system, and uses the cloud delivery model for simple implementation.

When measured against a manually developed training scenario in a blind study, ChatRange scored only 0.16 percent lower than the average score of six quality criteria. ChatRange also scored higher or equal in four of the criteria, only scoring lower in the two related to the generalization of the scenario. The system was also compared with the cost of manually planning a scenario. ChatRange reduced the cost of creating cyber training exercises by 99.81 percent, from an estimated 80,000 NOK per exercise to only 150 NOK. The specific data cost for using ChatRange was 13.10 NOK of the 150 NOK. Further automation and optimization have the potential to enhance these results.

ChatRange delivers both quality and efficiency and proves that Autonomous AI Agents and large language models are good tools for these purposes.