Information-based dependency matching for behavioral malware analysis

Abstract

ENGELSK: Malicious software (malware) has been a constant threat to computer environments. Every year malware inflict staggering amount of damage and incur vast financial losses worldwide. Malware has changed drastically and its purpose, attack vectors and methods are no longer simple. Furthermore the attackers often utilize unknown vulnerabilities, evasion techniques and generator algorithms which drastically increase the impact, effectiveness and quantity of malware. Thus the task falls to security experts to develop tools and techniques to thwart this ever expanding threat. The challenge is to detect all attacks, regardless of evasion techniques, while keeping false alarms to a minimum. This thesis seeks to analyze the application of function call-based malware detection. More specifically function calls with their inter-dependencies, extracted by use of informationbased dependency matching. Analysis will be performed to research whether this method is reliable and improve obfuscation resilience. The thesis discusses the difference of performing detection at library call, system call or function call(hybrid) layer, and how well detection can be performed at these layers.

NORSK: Skadelig kode som virus, ormer, trojanere har vært en konstant trussel mot datamaskiner og tilhørende nettverk. Hvert år påføres store skader som resulterer i mye arbeid og finansielle tap. Skadelig kode har endret seg drastisk, og dets formål, angreptsvektor og metode er ikke lenger enkel. Videre benytter angripere ofte ukjente sårbarheter, beskyttelsesmekanismer og algoritmer som drastisk øker omfanget, effektiviteten og mengden skadelig kode. Oppgaven faller derfor til sikkerhetseksperter for å utvikle verktøy og sikkerhetsmekanismer som kan avverge og motvirke denne evig økende trusselen. Utfordringen er å oppdage og stoppe alle angrep, uavhengig av hvilke unnvikelsesmanøvre og metoder som benyttes. Denne oppgaven forsøker å detektere skadelig kode basert på API-kall analyse. Mer spesifikt, så benyttes API-kall og avhengigheter mellom disse. Disse avhengighetene opprettes ved hjelp av informasjon fra API-kallene. Oppgaven går så ut på å undersøke om man kan opprette avhengigheter mellom API-kall på en pålitelig måte. Videre undersøkes det om denne type deteksjon er mer robust mot typiske unnvikelsesmanøvre (obfuscation techniques). Til slutt så analyseres forskjeller i deteksjon for brukermodus og systemmodus. Dette være seg forskjellen på vanlige og systemkritiske oppgaver, og om det finnes forskjeller mellom disse for deteksjon av skadelig kode.