Automated Security Testing with MITRE Caldera and Azure Pipelines

Abstract

Sopra Steria er et ledende teknologi- og konsulentfirma, kjent for sine digitale tjenester. SOC-teamet til Sopra Steria ønsket å automatisere sikkerhetstesting for å forbedre og effektivisere testprosessene deres. Den foreslåtte løsningen måtte bruke et rammeverk for cybersikkerhet med åpen kildekode, som også kunne integreres i deres deteksjonslab. Etter en grundig undersøkelse bestemte vi oss for det rammeverket som stemte best med våre krav. Dette var MITRE Caldera, designet for automatisk emulering av trusselaktører. Vi konfigurerte agenter og brukte APIer levert av Caldera for å automatisere sikkerhetstestingen. Sikkerhetstestmiljøet som tester utføres i, implementeres med IaC-verktøyet Terraform på skyplattformen Microsoft Azure. Løsningen vi utviklet inkluderer to Pipelines, en som automatisk oppretter et testmiljø og en som gir muligheten til å kjøre ulike sikkerhetstester innenfor det. Dette dokumentet dekker først bakgrunnsteori rundt sikkerhetstesting og skytjenester. Vi fortsetter med en gjennomgang av våre satte krav, deretter design og implementering av systemet vårt. Etterfulgt er en detaljert evaluering av systemet vårt og en diskusjon av utviklingsprosessen, potensielle alternativer og til slutt videre arbeid for å gi en helhetlig løsning på problemstillingen.

Sopra Steria is a prominent technology and consulting firm, renowned for its digital services. The SOC team of Sopra Steria requested an automated security testing solution to enhance and streamline their testing processes. The proposed solution had to use an open-source cybersecurity framework, which also could be integrated into their detection lab environment. After a thorough investigation, we settled on the framework that aligned best with our requirements. That was MITRE Caldera, designed for automatic adversary emulation. We configured agents and utilized APIs provided by Caldera to create a solution for automated security testing. The Security Testing Environment in which tests are executed, is implemented with the IaC tool Terraform on the cloud platform Microsoft Azure. The system we developed includes two Pipelines, which provide the automatic construction of a testing environment and the ability to run various security tests within it. This thesis initially covers background theory around security testing and cloud computing. We continue with our specific requirements, design, and implementation. Following is a detailed evaluation of our system and a discussion of the development process, potential alternatives, and further work to provide a comprehensive solution to the problem statement.