A BERT-Based Approach to Norwegian Disinformation Detection, and the Effect of Automation Bias in Content Moderation

Abstract

Desinformasjon utvikler seg hele tiden, og det kan være en utfordring å skille fakta fra fiksjon på sosiale medier. Forskning på automatisert deteksjon av norsk desinformasjon er i en tidlig fase, og denne oppgaven tar sikte på å adressere dette ved å bruke kunstig intelligens (KI). I tillegg undersøkes det hvordan KI-råd kan påvirke innholdsmoderasjon.

Metodene i denne forskningen kombinerer modellutvikling med eksperimentell forskning. For modellutviklingen ble NorBERT3 trent med et oversatt norsk desinformajsonsdatasett for å lage to binære modeller og en multiklassemodell for deteksjon av desinformasjon. For å utforske de negative effektene av modellene, utviklet vi en metode for å forske på automatiseringsbias i KI-støttet innholdsmoderering. En undersøkelse basert på rammeverk for eksperimentelt design ble operasjonalisert gjennom et nettbasert spørreskjema for å evaluere de praktiske implikasjonene av KI-rådene. For å undersøke økt transparens i KI ble effekten av binære råd sammenlignet med effekten av prosentvise råd.

Resultatene av denne studien antyder at en modell basert på nevrale nettverk presterer bedre for deteksjon av norsk desinformasjon enn en modell basert på logistisk regresjon. Det var store variasjoner i prestasjonene til modellene avhengig av konteksten. Spørreundersøkelsen viste at korrekt og feil råd fra KI-modellen hadde en signifikant påvirkning på deltakerne, hver for seg. I tillegg ble det identifisert at KI-råd med en større grad av transparent hadde en mer negativ effekt på deltakernes prestasjon.

Studien gir innsikt i hvordan NorBERT kan utvikles og trenes for å detektere norsk desinformasjon. Funnene bidrar til forståelsen av hvordan automatiserte faktasjekkingsmodeller kan brukes. Modellene i denne studien viste seg å ha begrenset praktisk anvendelighet. Selv om de fleste var upåvirket av KI-rådene, var alder, hyppig eksponering til nyheter på sosiale medier, og manglende kjennskap til faktasjekking indikatorer på automatiseringsbias. Dette antyder at opplæring innen faktasjekking er viktig for å motvirke automatiseringsbias og mottakelighet for desinformasjon. Studien gir et grunnlag for videre forskning på automatiseringsbias.

All kode tilhørende oppgaven er tilgjengelig på GitHub.

As disinformation is evolving, separating fact from fiction on social media can be a challenge. The research of automated Norwegian disinformation detection is in its early stages, and this thesis aims to address the gap by developing Norwegian artificial intelligence (AI) models. In addition, the implications of AI advice are investigated in a content moderation setting.

The methods used in this research combine model development with experimental research. For the model development, NorBERT3 was fine-tuned with a translated Norwegian fake news dataset to create two binary models and one multiclass model. To explore the negative effects of the models, a method to research automation bias in a content moderation setting was devised. A survey based on the framework of experimental design was operationalised through an online questionnaire to evaluate practical implications of AI advice in AI-supported content moderation. To investigate increased transparency in AI, the effect of binary advice was compared with the effect of percentage advice.

The results of the study suggest that a neural network-based model performed better than a logistic regression-based model for Norwegian disinformation detection. There were large variations in accuracy for the models depending on the context. The survey experiment found that correct and incorrect advice significantly affected the participants, separately. In addition, increased transparency of advice was found to have a more negative effect on the performance of the participants.

This paper provides new insights into how NorBERT can be fine-tuned for disinformation detection. These findings add substantially to our understanding of how automated fact-checking models can be used. The models in this project were assessed to have limited practical applicability. While most people were unaffected by AI advice, age, exposure to news on social media, and limited familiarity with fact-checking were indicators of automation bias. These findings suggest that education within fact-checking is important to counter automation bias and susceptibility to disinformation. Our study provides a foundation for further research of automation bias.

All code associated with this thesis is available on GitHub.