Building Reputation in the Shadows: An Analysis of the Strategic and Behavioral Aspects of Underground Forum Users Through Machine Learning Techniques

Abstract

Undergrunnsforum er nettsamfunn hvor eksisterende og aspirerende cyberkriminelle kan bli kjent, diskutere ulovlige aktiviteter og utveksle produkter og tjenester. Terskelen for å bli en del av miljøet er lav. Det er arenaer hvor brukere kan bli utsatt for radikalisering og rekruttert til organiserte cyberkriminelle nettverk. I en verden hvor antall cyberangrep er spådd å øke, er det svært viktig å få mer kunnskap om hvordan man kan forebygge og stanse potensielle aktører fra å bli kriminelle.

Målet med studiet har vært å få mer kunnskap om hvordan brukere på undergrunnsforum bygger omdømme. Hvilken oppførsel har brukere med godt omdømme, og hvilke tilbakemeldinger får de fra andre medlemmer? Studiet er gjort ved å bruke undersøkende forskning til å utforske strukturene ved omdømmesystemet på Hackforums, og eksperimenter på datasettet CrimeBB fra Cambridge Cybercrime Centre ved bruk av maskinlæringsteknikker. Det er undersøkt omtrent 35 millioner poster, over 10 år med brukeraktivitet og manuelt gitt label til om lag 45,000 rader over totalt tre klassifiseringer. Klassifiseringene har hatt fokus på å finne hvilke type poster som postes på brett med tema relatert til hacking, sentimentet i tilbakemeldingen en bruker har gitt til et annet medlem, og hvilke trender som skiller tilbakemeldinger knyttet til brukere med godt omdømme fra tilbakemeldinger til andre medlemmer.

De viktigste resultatene studien fant var: - Selv på undergrunnsforum som kjennetegnes av temaer som blant annet omhandler svindel og andre kriminelle aktiviteter, er de viktigste faktorene for å oppnå godt omdømme at man er snill og høflig mot andre medlemmer, og at man gjerne deler kunnskap og bistår andre når de trenger hjelp. - Brukere med godt omdømme engasjerer seg i aktivitet og strategier som fører til godt omdømme fra et tidligere stadie enn andre brukere, og er derfor mulig å kjenne igjen før de har oppnådd et godt omdømme. - Maskinlæringsteknikkene som er brukt fungerer godt på denne type data, både til å klassifisere mange og få klasser.

Disse funnene bidrar til økt innsikt i aspekter ved brukere med godt omdømme på undergrunnsforum. Funnene er validert av fageksperter, og kunnskapen vil kunne bidra til å oppdage potensielle fremtidige kriminelle og dermed forebygge mot fremtidig kriminalitet.

Underground forums are online societies where both existing and aspiring cybercriminals can get to know each other, discuss illicit activities and trade in products and services. These are arenas where exposure to radicalization and recruitment to organized cybercriminal networks is possible. In a world where the number of cyberattacks are expected to increase, it is important to gain more knowledge about how to prevent potential actors from becoming cybercriminals.

The goal of the study has been to obtain more knowledge about how users on underground forums builds their reputation. What are the behavioral aspects of reputable users, and what feedback do they get from other forum members? The study has been conducted by using exploratory research to investigate the structure of the reputation system on Hackforums, and experiments on the CrimeBB dataset from Cambridge Cybercrime Centre by using machine learning techniques. About 35 million user posts in total have been examined, over 10 years of user activity and manually given labels to about 45,000 rows over a total of three classifications. The classifications have been centered around finding which type of posts are posted on cybercrime related boards, the sentiment of the feedback given from a user to another, and how the feedback users with a high reputation receive differs from the feedback to others.

The key results from the study are: - Even on underground forums that are characterized by illegal topics like e.g. defrauding others, the most important factors to achieving a high reputation is to be kind and respectful towards other members, as well as willingness to share knowledge and assist others. - Users with a high reputation engage in activities and strategies that lead to a high reputation from an earlier stage than other members and are therefore possible to recognize before they have achieved a high reputation. - The machine learning techniques used in this study work well on this kind of forum data, both to classify many and few classes.

These findings contribute to increased insight into aspects of users with high reputation on underground forums. The findings are validated by subject matter experts, and the knowledge will help to detect potential future criminals and thus prevent against future cybercrime.