Ranking of Cybergrooming Conversations

Abstract

Ettersom trusselen med nettbasert grooming er et økende problem i dagens samfunn blir det stadig viktigere å finne nye og bedre måter å detektere og forhindre det på. Med dette som motivasjon så vil denne masteroppgaven fokusere på utviklingen av et rangeringssystem som skal, i sanntid, identifisere seksuelle samtaler på digitale applikasjoner. Tidligere forskning har hovedsakelig fokusert på selve deteksjonsdelen, men et rangeringssystem har, så vidt vi vet, ikke blitt undersøkt tidligere. Dermed vil vi legge til et rangeringssystem slik at det blir enklere for applikasjonsmoderatorer å prioritere de mest bekymringsverdige samtalene.

Rangeringssystemet skal ha en dynamisk samtalebasert tilnærming, der hver samtale tildeles en risikoscore. En høy risikoscore indikerer høy viktighetsgrad, og dermed vil samtalen bli plassert høyt oppe i hierarkiet. For å optimalisere og effektivisere systemet så har vi testet og sammenlignet flere språkmodeller og score-forsterkende funksjoner. Scoren fra språkmodellene blir videre brukt til å bestemme hvor mye risikoen til en samtale skal øke eller minke. Til denne oppgaven vil de nevnte score-forsterkende funksjonene bli benyttet. For å finjustere og teste språkmodellene, har vi fått tilgang på et ekte datasett fra en spillplattform for barn. Datasettet er fra 2022 og inkluderer derfor moderne skriftspråk. I tillegg inneholder det både seksuelle og vanlige samtaler.

For å måle og evaluere rangeringssystemet vil masteroppgaven benytte seg av presisjons- og hastighetsmålinger. Den beste presisjonen oppnådd er på 0.930 og ble oppnådd ved å vurdere topp 200 rangerte samtaler. Med tanke på mengden meldinger sendt i datasettet så vil systemet kunne score opp til syv ganger så mye data. Dette er sammenlignet med gjennomsnittlig antall meldinger sendt daglig på en spillplattform. Disse resultatene demonstrere dermed at det er mulig å både raskt score og opprettholde et rangeringshierarki for alle samtalene i en applikasjon.

As the threat of cybergrooming continues to escalate in today's society, the importance of finding ways to detect and prevent it is more pressing than ever. To address this issue, this master's thesis is focused on the development of a ranking system that can identify sexual conversations in real time on an online application. Earlier research has mainly focused on the detection part, but the ranking system has, to the best of our knowledge, not been investigated in previous research. We will therefore add a ranking system so application moderators can easier prioritize the most concerning conversations.

The ranking system operates using a dynamic conversation-based approach, assigning each conversation with a risk score. A higher risk score indicates a conversation with a higher degree of sexual content, thus positioning the conversation higher up in the rank hierarchy. To optimize the efficiency and performance of the system, different language models and score-boost functions are evaluated and compared. The score from the language model is used to determine how much the risk of a conversation should go up or down. For this task, different score-boost functions are studied. To be able to fine-tune the language models and to test the results afterward, a dataset with real data from a gaming platform for children has been used. This has provided us with up-to-date data, containing both sexual and normal conversations.

This master's thesis employs precision and speed-performance as metrics to evaluate the developed ranking system. The precision of 0.930 has been achieved by looking at the top 200 ranked conversations. Furthermore, based on our dataset, the system can score and rank up to seven times the average amount of data sent across the gaming platform in a single day. Our results demonstrate therefore that it is possible to quickly score and maintain a rank hierarchy for all the conversations within an application.