Automated hint generation for cybersecurity learning

Abstract

Injeksjonssårbarheter har lenge utgjort en betydelig utfordring for utviklere og samfunnet generelt, spesielt siden Internett har blitt en integrert del av hverdagen vår. Disse sårbarhetene gir angripere muligheten til potensielt lese, endre og slette sensitiv data, forstyrre tjenester og til og med eksekvere skadelige kommandoer i den utnyttede applikasjonen eller operativsystemet. Til tross for å være et langvarig sikkerhetsproblem [1], fokuserer dagens opplæring innen cybersikkerhet primært på utnyttelse av disse sårbarhetene, ofte med begrenset eller ingen tanke på forsvars- og motvirkningstiltak. Denne masteroppgaven søker å tette dette gapet ved å skape et læringsmiljø som tilbyr veiledning i både å oppdage og fikse injeksjonsfeil, og gi elevene verdifull støtte gjennom hele læringen.

I denne studien ble det utviklet et pedagogisk artefakt med praktiske oppgaver og automatiske hintgivning for å undersøke effekten av automatisk hintgenerering under offensive cybersikkerhetsoppgaver. Ved å sammenligne elevens injeksjon med alle kjente riktige løsninger og bruk av maskinlæring genererer artefaktet hint til hver enkelt. Analyse av brukerloggdata, inkludert injeksjoner, tid brukt og fullførte oppgaver, mellom grupper med og uten hint, for å vurdere effektiviteten til artefaktet. I tillegg til kartlegging av kunnskapen til elevene før og etter gjennom undersøkelser for å ytterligere vurdere effekten til artefaktet. Resultater fra spørreskjemaer er brukt for å vurdere elevenes læringsopplevelse og identifisere forbedringsområder for artefaktet, for å helhetlig evaluere artefaktet.

Selv om de genererte hintene ikke hadde noen signifikant innvirkning på læringsutbytte eller ga noen fordeler, viste alle deltakerne forbedring fra forhåndsundersøkelsen til etterundersøkelsen, noe som antyder en påvirkning som følge av læringsmiljøet. Mens resultatene ikke viste noen signifikante forskjeller, uttrykte deltakerne fra kontrollgruppen troen på at hint kunne ha vært nyttig. Resultatene er generelt uklare på grunn av tekniske problemer under testingen som førte til begrenset data og usikkerhet til dataens gyldighet og pålitelighet. Derfor må fremtidig arbeid optimalisere generering av hint, teste på nytt og reevaluere artefaktet på en større skala for å trekke avgjørende konklusjoner.

Injection vulnerabilities have long posed a substantial challenge for developers and society at large, particularly as the Internet has become an integral part of our daily lives. These vulnerabilities enable attackers to potentially read, modify, and delete sensitive data, disrupt services, and even execute harmful commands within the exploited application or the operating system. Despite being a long-standing security issue [1], current cybersecurity education primarily focuses on exploiting these vulnerabilities, often with limited or no attention to defence and mitigation. This master thesis seeks to bridge this gap by creating a learning environment which offers guidance on both discovering and remedying injection flaws, and provides learners with valuable support throughout their educational journey.

In this study, an educational artefact with hands-on exercises and automated hint provision was developed to explore the impact of automated hint generation during offensive cybersecurity exercises. By comparing the learner's inject with all known correct solutions and utilising machine learning the artefact generates hints for each individual. Analysing user log data, including injects, time spent, and objectives completed, between groups with and without hints, to assess the effectiveness of the artefact. As well as assessing the learners' knowledge through surveys, to further evaluate the effect of the artefact. Results from questionnaires are used to assess perceived learning experience and identify areas of improvement. All this is done in order to comprehensively evaluate the artefact.

While the generated hints had no significant impact on learning outcomes or provided any benefits, all participants showed improvement from pre-survey to post-survey, suggesting an overall impact of the learning environment. While results showed no significant differences, participants in the control group expressed the belief that hints could be beneficial. The results are overall inconclusive because of technical issues during testing resulted in limited data, and uncertainties in regards to the data's validity and reliability. Therefore, future works needs to optimise hint generation, test anew, and reevaluate the artefact on a larger scale to draw conclusive findings.