Detecting Hate Speech in Norwegian Texts Using BERT Semi-Supervised Anomaly Detection

Abstract

Denne avhandlingen presenterer en ny løsning for deteksjon av hatefulle ytringer som kombinerer flere metoder innen kunstig intelligens for å identifisere hatefullt innhold i korte norske tekster automatisk. Internettet har historisk sett opplevd en eksplosiv fremvekst, og samtidig som bruken av sosiale medier og diskusjonsforum stadig vokser, vokser også tilfellene av brukergenerert hatefullt språk. Selv om ytringsfrihet er stadfestet i Norges Grunnlov, er det ulovlig å sette fram diskriminerende eller hatefulle ytringer, og slike ytringer bør derfor oppdages og fjernes.

Tidligere løsninger for deteksjon av hatefulle ytringer, både for Engelsk og andre språk, er stort sett basert på klassifiseringsmetoder. Selv om imponerende resultater er blitt oppnådd med disse metodene, medfører de et antall ulemper. En av disse er at de krever store, annoterte tekstkorpora som er tilpasset deteksjon av hatefulle ytringer, som ofte ikke er tilgjengelig for mindre brukte språk som Norsk.

Denne avhandlingen inneholder en metodisk gjennomgang av tidligere studier, en ny tilnærming til deteksjon av hatefulle ytringer, og et omfattende eksperiment som evaluererer hvorvidt løsningen er hensiktsmessing og dens ytelse. Den nye tilnærmingen, kalt BSSAD, inneholder et konvolusjonelt nevralt nettverk som drar nytte av en ferdig opplært, bidireksjonell enkoder modell for å produsere ordvektorer. Ved å bruke en bidireksjonell enkoder vil de resulterende ordvektorene kunne reflektere kontekst, og dermed dra mer nytte av innholdet i mindre tekstkorpora.

Resultatene av eksperimentet viser at den nye tilnærmingen overgår tidligere løsninger for deteksjon av hatefulle ytringer på norsk. Dette indikerer at bruken av opplærte BERT modeller kan produsere mer verdifulle ordvektorer som BSSAD modellen kan utnytte.

I tidilige stadier av utviklingen er det mange utfordringer knyttet til automatisk deteksjon av hatefulle ytringer. Det finnes et utvalg avanserte tilnærminger på Engelsk, men disse yter ikke like godt for mindre brukte språk som Norsk grunnet mangel på spesialiserte korpora. Metoden som er presentert i denne avhandlingen forbigår tidligere løsninger ved å kombinere BERT modeller og avviksdeteksjon, og viser dermed at det ligger stort potensiale i denne kombinasjonen for videre utvikling i feltet.

This thesis presents a novel solution to hate speech detection that combines several artificial intelligence methods to identify hateful content within short Norwegian texts. With the explosive growth of the internet and the ever-increasing adoption of social media and discussion forums, user-generated hateful utterances have become progressively more frequent. While freedom of speech is a constitutional right in Norway, discriminatory or hateful utterances are illegal and should therefore be removed.

Previous solutions to hate speech detection, both for English and non-English languages, have primarily used text classification approaches. While impressive results have been achieved using these methods, they face several drawbacks. Among these is the necessity for large, annotated corpora tailored to hate speech detection, which is not available for less used languages such as Norwegian.

This thesis contains a methodical literature review, a novel approach to hate speech detection, and an exhaustive experiment evaluating its viability and performance. The novel approach is called BSSAD and contains a convolutional neural network that uses a pre-trained, bidirectional encoder model to produce word embeddings. By using a bidirectional encoder, the resulting word embeddings are able to reflect context, making better use of the contents of smaller corpora.

The experiment results show that the new approach significantly outperforms previous solutions for hate speech detection in Norwegian. This indicates that introducing pre-trained BERT models yields more valuable word embeddings from which the BSSAD model is able to benefit.

Automatic hate speech detection in its infancy faces many challenges. While there are numerous advanced approaches for the English language, applying those to less-used languages like Norwegian yields inferior results due to a lack of specialized corpora. The BSSAD approach presented in this thesis combines recently developed state-of-the-art methods such as BERT models and anomaly detection to surpass previous approaches, showing great potential for future development based on this combination.