Detecting malicious PDF documents

Abstract

ENGELSK: As the internet has become the new playground for organized crime and foreign intelligence, the sophistication of internet attacks has increased. The traditional attacks targeting listening services on the target computer is no longer as viable as it used to, much thanks to firewalls, NAT and more secure administration of servers. This has forced the attackers to find new targets, which they have found in client applications, and in the users themselves. Client-side attacks are now the most used method of attack on the internet. A popular vector for conducting such attacks are malicious PDF documents. Traditional signature based network intrusion detection systems (IDS) have a hard time detecting such threats, and no good alternative solutions have been discovered. In this thesis we seek the answer to the question ”How can malicious PDF-documents transferred in a network be detected? “ An anomaly based network IDS approach was chosen, several machine learning classifiers were investigated and Support Vector Machines gave the best accuracy and performance. Several features of PDFs are analyzed in order to retrieve those significant for the detection of malicious PDF documents. Experiments were performed to find the best combination of features and SVM configurations to maximize performance of the detection algorithm. A real world study was also performed by implementing the algorithm in a network belonging to the Norwegian Defence.

NORSK: Internett har med tiden blitt den nye tumleplassen for organisert kriminalitet og fremmed etterretning. Nettverksangrep over internett har stadig blitt flere og mer sofistikerte. Takket være brannmurer, NAT og bedre sikkerhetsbevissthet blant administratorer er tradisjonelle angrep mot lyttende tjenester på offerets maskin er ikke lenger en foretrukket metode. Dagens metode for angrep er klient-side angrep. En populær vektor for slike angrep er ondsinnede PDF dokumenter. Tradisjonelle signaturbaserte inntrengningsdeteksjonssystemer (IDS) har problemer med å detektere slike angrep, og det finnes ingen gode alternativer. I denne masteroppgaven forsøker vi å besvare spørsmålet ”Hvordan kan ondsinnede PDF dokumenter detekteres i nettverket? “ En tilnærming med anomali-basert nettverks IDS ble valgt. Flere metoder fra maskin læring ble undersøkt, og Support Vector Machines gav best nøyaktighet og ytelse. Flere attributter i PDF formatet har blitt analysert for å finne frem til de som er signifikante for å kunne detektere ondsinnede PDF dokumenter. Eksperimenter har blitt gjennomført for å finne den beste kombinasjonen av attributter og SVM konfigurasjon for å maksimere ytelsen til deteksjonssystemet. En test har også blitt gjennomført i et virkelig scenario ved å implementere systemet i et nettverk tilhørende det norske Forsvaret.