Gamifying the MITRE ATT&CK for Cyber Security Training using the COFELET Framework

Abstract

Cyberangrep blir mer sofistikerte og endrer seg raskt. Godt trente cybersikkerhetsansatte er nødvendig for å holde styr på disse angrepene, og dette begynner med en godt utdannet og godt trent kandidat. Mens cybersikkerhetsstudenter sliter med å finne kunnskap som er spredt over internett, prøver rammeverk som MITER ATT&CK å løse dette problemet ved å samle inn så mye informasjon som mulig om taktikk, teknikker og prosedyrer (TTP) til motstandergrupper, for å gjøre det lettere for de som er interessert å finne dataene de trenger på ett sted. Dessverre kan denne enorme mengden informasjon være overveldende for fagfolk og studenter i tidlig karriere, og det å ikke vite hvordan de skal bruke slike rammeverk utfordrer deres evne til å operere effektivt i krisetilfeller. Denne oppgaven foreslår et seriøst spill designet og evaluert basert på et rammeverk for cybersikkerhet seriøse spill kalt COFELET, for å undersøke effektiviteten av å bruke et COFELET-basert seriøst spill for å introdusere ATT&CK-rammeverket, som en effektiv metode for undervisning og trening, hvor kompleks kunnskap presenteres på en engasjerende og pedagogisk informert måte. Spillet ble evaluert kvalitativt og kvantitativt av forskere, lærere og studenter fra Norges teknisk-naturvitenskapelige universitet (NTNU), hvor lærings-, instruksjons- og spill komponentene i spillet ble testet og evaluert, og resultatene ble samlet inn. via spørreskjemaer. Evalueringen resulterte i konklusjonen at ved å kombinere feltrelaterte metoder med pedagogiske teorier i et spill, vil studentene få en bedre læringsopplevelse med positive læringsutbytte. Det ble funnet at ved siden av feltrelaterte metodologier og pedagogiske teorier, bør lys ledes på spill komponentene for å gjøre læringsopplevelsen mer morsom og engasjerende.

Cyber-attacks are becoming more sophisticated and changing rapidly. Well-trained cyber security employees are needed to keep track of these attacks, and this begins with a well-educated and well-trained graduate. As cyber security students struggle in finding knowledge that is scattered over the internet, frameworks like MITRE ATT&CK are trying to solve this issue by collecting as much information as possible about tactics, techniques, and procedures (TTPs) of adversary groups, to make it easier for those who are interested to find the data they need in one place. Unfortunately, this huge amount of information can be overwhelming for early-career professionals and students, and not knowing how to use such frameworks challenges their ability to operate efficiently in cases of crises. This thesis proposes a serious game designed and evaluated based on a framework for cyber security serious games called COFELET, to investigate the effectiveness of using a COFELET-based serious game in introducing the ATT&CK framework, as an effective method for teaching and training, where complex knowledge is presented in an engaging and pedagogically informed way. The game was evaluated qualitatively and quantitatively, by researchers, teaching staff, and students from the Norwegian University of Science and Technology (NTNU), where the learning, instructional, and gaming components of the game were tested and evaluated, and the results were collected via questionnaires. The evaluation resulted in the conclusion that by combining field-related methodologies with educational theories in a game, students will gain a better learning experience with positive learning outcomes. It was found that besides the field-related methodologies and educational theories, the light should be led on the gaming components to make the learning experience more fun and engaging.