Deepthought - A Case Study in Digital Forensic Tool Validation

Abstract

Bevis fra digitale enheter spiller en stadig større rolle i etterforskning av kriminalsaker. Spesialverktøyene som brukes til å sikre og hente ut bevis må være nøyaktige og påvirke de beslaglagte enhetene så lite som mulig. I denne masteroppgaven identifiserer vi hvilke krav som stilles til digitale etterforskingsverktøy, samt drøfter eksisterende metodikk for å validere at slike verktøy er pålitelige. Som en del av oppgaven har vi kombinert ISO standarder for programvaretesting med etablerte metoder for validering av digitale etterforskingsverktøy. Denne metodikken gir en strukturert måte å bryte ned verktøyets funksjoner til test kriterier, i et fleksibelt rammeverk som egner seg for testing av alle digitale etterforskingsverktøy. Med økende mengder digitale beslag i straffesaker er det et økende behov for automatiserte digitale etterforskingsverktøy for å behandle og analysere beslag. Det finnes mange kommersielle verktøy tilgjengelig på markedet, men slik programvare kan være svært kostbart noe som gjør at etterforskingsavsnittene må prioritere hvilke verktøy de skal kjøpe inn. Freetool er et prosjekt som utvikler digitale etterforskingsverktøy gratis for politienheter. Ett av verktøyene utviklet som en del av Freetool-prosjektet er Deepthought. Deepthought er et triage verktøy som brukes til å utføre initiell analyse av beslaglagte digitale enheter. Som en del av oppgaven har vi gjennomført eksperimenter på Deepthought-programvaren ved bruk av metodikken vi beskriver. Vår avhandling konkluderer med at Deepthought har stort potensial som triage verktøy, men at dagens versjon ikke oppfyller kravene for digitale etterforskingsverktøy. Som en del av avhandlingen har vi utviklet datasett for funksjonstesting av digitale etterforskingsverktøy. Vi er i ferd med å gjøre disse datasettene offentlig tilgjengelige slik at andre kan gjennomføre lignende funksjonstester. Gjennom vårt arbeid har vi identifisert testkriterier for funksjoner benyttet av digitale etterforskingsverktøy rettet mot barneovergrepssaker. Disse testkriteriene kan sammenstilles og kombineres med testkriterier identifisert gjennom andre eksperimenter på digitale etterforskingsverktøy. En slik samling testkriterier kan da benyttes når lignende programvare skal testes i fremtiden.

Digital evidence is playing an increasingly critical role in investigations. Trusting the forensic tools to retrieve and analyze files accurately, without affecting the integrity of the evidence, is imperative for the investigators to be able to use the evidence in court. In this thesis, we identify requirements for digital forensic tools, and review existing scientific methods for validating digital forensic tools. As part of this thesis we have combined ISO standards for software testing with established standards in the field of digital forensic tool testing. The result of our combined method provides a structured method for establishing test criteria in a versatile framework for testing digital forensic tools. With increasing amounts of digital evidence in criminal cases, there is a growing need for automated digital forensic tools to process seized devices. There are many commercial tools available on the market, but with the cost of licensing commercial software, law enforcement is forced to prioritize what tools to buy. The Freetool project seeks to develop free digital forensic tools for law enforcement, and one of these tools is Deepthought. Deepthought is a triaging tool used for performing preliminary analysis of the seized devices. By applying our test methodology, we have conducted experiments on the Deepthought software to verify if the tool meets the requirements for digital forensic tools. Our thesis concludes that Deepthought has great potential as a triaging tool, but that the current version does not meet the requirements. As part of the thesis we have developed datasets for specific function testing of digital forensic tools. We are in the process of making these datasets available to the community for similar functionality tests. Through our work, we have identified test assertions for digital forensic tools aimed at child exploitation cases. In future research, this work can be further extended to include more functions, and ultimately ending in a comprehensive list of test assertions to be used when testing any digital forensic tool functionality.