Tool induced biases in iOS pattern of life analysis

Abstract

Mobile enheter og smartklokker lagrer stadig mer informasjon om brukerens aktiviteter. Dette kan inkludere detaljer rundt stedstjenester, tilkoblinger, helsedata og enhetsbruk. Analysen av slike bruksdata har fått betegnelsen pattern of life analysis i det digitale rettstekniske miljøet, et begrep som peker mot en detaljrikdom som er tilstrekkelig for å gjenskape aspekter av brukerens digitale, fysiske, og mentale aktiviteter.

Dataetterforskere har blant annet benyttet slike data til å verifisere informasjon som fremkommer under avhør, for å gjenskape hendelsesrekker, og for å påvise forsett. Dataetterforskere benytter i all hovedsak proprietære analyseverktøy til slike formål. Feiltolkninger og tilgang til ufullstendige data kan imidlertid føre til justisfeil.

Studien søker derfor å svare på om måten analyseverktøy fremstiller data på kan føre til feiltolkninger. For å svare på dette ble det gjennomført en komparativ analyse av de digitale etterforskningsverktøyene Cellebrite Physical Analyzer og APOLLO. To grupper med dataetterforskere ble gitt resultater fra et av de to verktøyene, og ble deretter bedt om å besvare en serie med informasjonsbehov.

Studien fant betydelige ulikheter mellom gruppenes evne til å svare på informasjonsbehovene. Feil og mangler som oppstod undergjennomføringene ble klassifisert ut fra hvilken type påvirkning verktøyenes presentasjonslag hadde på resultatene. Klassifiseringen inkluderer navnekonvensjoner, detaljer, aggregering av data, og fremstillingen av tidsstempler.

Eksisterende forskning viser hvordan eksperter kan påvirkes av bias i beslutningsprosesser. Studien har imidlertid avdekket en kilde til bias som ikke har blitt undersøkt tidligere i digital rettsteknisk kontekst. For å konkretisere funnene defineres klassifiseringen av denne feilkilden som data presentation biases in forensic analysis.

Mobile devices and smart watches store increasingly more information about users' activities, capturing everything from location and health data to connection and device usage history. In digital forensic circles, the process of analyzing such data has coined the term pattern of life analysis, suggesting a richness of data capable of reproducing aspects of a user's digital, physical and even mental activities.

Among other things, law enforcement takes advantage of this granularity of data to verify information provided in interviews, to establish sequences of events, and to reveal potential intents. Digital forensic investigators mainly rely on proprietary analysis tools for such inquires. However, misinterpretation of evidence and access to partial information can lead to miscarriages of justice.

On this bases, the study seeks to answer whether the presentation layer of digital forensic tools can lead to errors and misinterpretations. Through a comparative analysis of the digital forensic analysis tools Cellebrite Physical Analyzer and APOLLO, two groups of digital forensic investigators performed a series of assignments, each group with results from one of the two tools.

The study found a notable discrepancy between the performance of the groups. Errors in the assessments were classified based on factors of influence within the tools' presentation layers, including naming conventions, details, data aggregation, and timestamps.

Earlier research have shown how biases can affect forensic experts in their opinion making processes. However, the study found a source of bias that has not previously been examined within the context of digital forensics. Therefore, a classification of data presentation biases in forensic analysis is introduced as a way to concretize these findings.