Detecting Remote Administration Trojans through Dynamic Analysis using Finite-State Machines

Abstract

ENGLISH: In this master’s thesis we show how we can use the Application Programming Interface (API) calls a program makes to detect if it is a Remote Administration Trojan (RAT) or not. We have looked at which API calls that are performed when the webcam, microphone and keylogger are used by a program, and we use this information to determine if a program can be considered to be spying on its user by covertly capturing information from any of these sources. In addition, we have looked at the network traffic as seen through the API calls of the examined RAT, and we use this to better pinpoint which RAT that is present on the system. To distinguish a RAT from a program with similar behavior (e.g. video chat vs. webcam spying) we have used user interaction with the program as a discriminator for whether or not it is malicious, with our theory being that a program such as a video chat program would interact with the user and have a user interface, while a RAT would not and would instead attempt to stay hidden. By observation we show that this is what is happening in real-life scenarios, and that the RATs do not interact with the user or provide a user interface. We have subsequently modeled the API calls that denote the various forms of behavior and user interaction as finite-state machines that can be used to detect whether or not a RAT is present on the system and what it is doing.

NORSK: I denne masteroppgaven viser vi hvordan vi kan bruke Application Programming Interface (API) kallene et program utfører for å oppdage om det er en Remote Administration Trojan (RAT) eller ikke. Vi har undersøkt hvilke API-kall som blir gjort når webkamera, mikrofon og tastaturet brukes av et program, og vi bruker denne informasjonen til å finne ut av om et program spionerer på brukeren via noen av disse grensesnittene eller ikke. I tillegg har vi sett på nettverkstrafikken via API-kallene som den undersøkte RATen utførerer, og vi bruker denne informasjon til å mer nøyaktig finne ut hvilken RAT som befinner seg på systemet. For å skille en RAT fra et program med lignende oppførsel (f.eks. video chat og wekameraspionering) har vi brukt interaksjon med brukeren som et skille på hvorvidt programmet er skadelig eller ikke, hvor teorien vår har vært at et program som video chaten vil samhandle med brukeren og dermed ha et brukergrensesnitt, mens en RAT ikke vil det og heller forsøker å holde seg skjult. Ved observasjon har vi vist at det er dette som skjer, og at RATene ikke samhandler med brukeren eller har noe brukergrensesnitt. Vi har til slutt modellert API-kallene som brukes for de forskjellige typene oppførsel og brukersamhandling som tilstandsmakiner som kan brukes til å oppdage om en RAT finnes på systemet og hva den driver med.