Hiding in Plain Sight: Detecting Social Media Users at Risk of Radicalization

Abstract

Forebygging av radikalisering på sosiale medieplattformer blir stadig viktigere, spesielt siden ekstremisme knyttet til Den islamske staten (IS) utgjør betydelige trusler selv i land hvor de ikke er organisert. Radikalisering via sosiale medier kan føre til terrorisme, rekruttering av fremmedkrigere og farlige holdninger som kan ha en polariserende effekt på samfunnet, skade demokratiet og ramme utsatte grupper. Dette samfunnsprobelemet blir addressert i denne masteroppgaven ved å skifte fokus fra deteksjon av allerede radikaliserte personer på sosiale medier, som er hovedfokuset i mange studier, til å identifisere personer som er sårbare for radikalisering – personer i risikosonen. Viktigheten av å utforske dette ligger i hypotesen om at forebyggende tiltak er mer effektive enn reaktive tiltak for å bekjempe terrorisme. Dessuten er de fleste eksisterende metodene basert på en deteksjonsmetode som lett kan omgås, nemlig deteksjon av IS-relaterte ord. Som et svar på dette utforsker denne oppgaven en mer helhetlig tilnærming ved å undersøke om språklige trekk (features) kan forbedre deteksjonen av brukere i risikosonen og dermed styrke forebyggende tiltak mot ekstremisme.

Denne oppgaven utforsker et bredt spekter av maskinlæringsmetoder, inkludert dyp læring og transformer-baserte word embedding-metoder, for å grundig utforske effekten av språklige trekk. Disse metodene testes over tre ulike datasettscenarier: detektering av brukere i risikosonen blant nøytrale brukere, blant ekstremister og blant en kombinasjon av de to. Denne grundige testingen av språktrekk bidrar til å avdekke potensielle biaser ved bruk av trekkene. Maskinlæringsmodellene er finjustert for optimal ytelse, og effekten av de språklige trekkene er nøye utforsket gjennom flere eksperimenter.

Resultatene tyder på at språklige trekk forbedrer deteksjonen av Twitter/X-brukere i risikosonen, både med tanke på nøyaktighet og robusthet. Spesifikt ser gjennomsnittlig ord- og tweetlengde per person, samt gjennomsnittlig antall utropstegn og omtaler (mentions) per tweet per person ut til å være de mest effektive språklige trekkene for å identifisere brukere i risikosonen. Den beste F1-scoren og gjennomsnittlige F1-scoren på henholdsvis 98,59% og 95,71% overgår de beste og gjennomsnittlige F1-scorene ved bruk av kun word embeddings som trekk.

Andre bidrag inkluderer statistisk hypotesetesting av de språklige trekkene for en dypere forståelse av eksperimentresultatene. Hypotesetestene identifiserer at de nevnte trekkene, med unntak av gjennomsnittlig ordlengde som ble erstattet med gjennomsnittlig antall banneord per tweet per person, er signifikant forskjellige på tvers av alle tre datasettene. Ytterligere bidrag inkluderer forsøk på syntetisk datagenering ved hjelp av prompt engineering med den store språkmodellen (LLM) GPT-4, som belyser problemer knyttet til validering av de resulterende tweetsene. Etiske bekymringer knyttet til bruk av maskinlæring for overvåkning og sikkerhet diskuteres, med fokus på brukeranonymitet, risikoen for bias dersom treningsdataene er for homogen, og hvem som bør få tillatelse til å bruke en slik teknologi.

Preventing radicalization on social media platforms is increasingly important, particularly as extremism associated with the Islamic State (IS) poses significant threats even in countries where they are not organized. The threats include domestic terrorism, foreign fighters, and the polarizing beliefs of non-violent extremists, which can damage democracy and harm targeted communities. This thesis addresses the challenge by shifting focus from current methods that detect already radicalized individuals on social media platforms to a proactive strategy aimed at identifying those at risk of radicalization. The significance of this approach lies in its potential for earlier intervention, which is hypothesized to be more effective. Current detection methods, which are primarily keyword-based and easily evaded, often miss the broader context of user behavior and interactions. In response, this study explores a more holistic approach, examining whether incorporating language features can improve the detection of social media users at risk, thereby enhancing preventive measures against extremism.

To thoroughly explore the impact of language features, this thesis examines a range of machine learning models, including deep learning and state-of-the-art transformer-based word embedding models. These models are applied to three dataset scenarios: detecting at-risk users from neutral, extremist, and a mixed group of the two. This approach helps investigate potential biases in more complex settings. The classifiers are fine-tuned for optimal performance, and extensive experiments evaluate the efficacy of different feature sets across the classification models.

The results suggest that incorporating language features makes detecting at-risk Twitter/X users more accurate and robust. Specifically, the average word and tweet length per user and the average number of exclamations and mentions per tweet per user emerge as the most effective language features for detecting at-risk users. The best F1 score and average F1 score of 98.59% and 95.71%, respectively, outperform the best and average F1 scores of using only word embeddings as features.

Other contributions include statistical hypothesis testing of the language features for an in-depth understanding of the experimental results. The hypothesis test identifies that the aforementioned features, but substituting word length with profanity ratio, are significantly different across all three datasets. Further contributions include the exploration of generating synthetic tweets using prompt engineering with the Large Language Model (LLM) GPT-4, highlighting issues such as validating the resulting tweets. Additionally, the ethical considerations of using machine learning for surveillance and security are discussed, focusing on user anonymity, the risk of bias if training data lacks diversity, and the appropriate end-users of this technology.