Classifying Hateful and Offensive Language Across Datasets and Domains - A Comparison of Various Transformer-Based Models

Abstract

Denne oppgaven utforsker kompatibiliteten mellom populære datamengder som inneholder støtende språk ved bruk av språkmodeller forhåndstrente på store skriftsamlinger. Å trene iterativt på forskjellige datamengder viser seg å være vanskelig på grunn av at modeller glemmer tidligere kunnskap, mens sammenslåing og stokking av datamengder gir resultater som kan sammenlignes med trening og testing av modeller på data fra kun ett domene. Det er vanskelig å si om den gode ytelsen på de sammenslåtte datamengdene kommer av at modellene lærer å identifisere forskjellige datamengder, eller om definisjonene på hatefullt og støtende språk som blir brukt i de individuelle annoteringsmetodikkene faktisk er kompatible. Nylige modellers evne til å se forskjell på hatefullt og støtende språk i data fra både ett og flere domener ble utforsket i to faser. Et fordypningsprosjekt ble først utført, hvor et system basert på A Lite BERT (ALBERT) ble implementert til å skille støtende og normalt språk for å teste effektene av å redusere minnebruken fra en nylig populær modell kalt Bidirectional Encoder Representations from Transformers (BERT). Deretter ble fem systemer implementert, hvor to var basert på en modell som kan «huske» faktakunnskap. Denne modellen kalles Enhanced Representation through kNowledge IntEgration (ERNIE). De resterende tre var basert på ALBERT. Eksperimenter ble utført på tre datamengder, hvor alle annoteringsstrukturene ble synkronisert til tre kategorier: «Hateful», «Offensiv», eller «Neither» for å gjøre kryssevaluering av modeller på forskjellige datamengder mulig. Resultatene antyder at de faktaintegrerende modellene yter bedre enn modellene med relativt lavt minneforbruk på data fra både ett og flere domener. De forskjellige annoteringsstrukturenes kompatibilitet ble diskutert inngående med utgangspunkt i definisjonene som ble brukt i datamengdenes respektive artikler.

Automatisk oppdagelse av hatefullt språk ved bruk av maskinlæring er et viktig virkemiddel for å ha et sunt miljø på sosiale medier. Det er problematisk at det ikke finnes noe felles definisjon på hatefullt og støtende språk, og temaets subjektive natur gjør det vanskelig å lage datamengder uten logiske brister mellom annoteringer og definisjoner. Varierende metodikker i bruk når datamengder settes sammen og trender på sosiale medier i konstant endring introduserer tematiske forskjeller mellom datamengder. Hvis målet er å kontinuerlig ha en god modell for praktisk bruk, så kan det være at en kombinasjon av flere datamengder er nødvendig for å få nok kunnskap om subtile trekk som gjør et innlegg på sosiale medier hatefullt.

This thesis explores the compatibility of popular offensive language datasets while utilizing models pre-trained on large textual corpora. Training on different datasets iteratively is found to be very difficult due to models forgetting previous knowledge, while merging and shuffling datasets yield results comparable with normal in-domain training. It is difficult to tell if good performance on the merged dataset is due to models learning to identify different datasets, or if the definitions of hateful and offensive language used in the individual annotation methodologies are actually compatible. Recent models' abilities to separate hateful from offensive language using in- and cross-domain data were investigated in two phases. A preliminary study was conducted, where a system based on A Lite BERT (ALBERT) was implemented to separate offensive and normal language in order to test the effects of reducing memory consumption from the lately popular Bidirectional Encoder Representations from Transformers (BERT). This was followed by experiments utilizing five implemented systems, of which two were based on a model that retains factual knowledge called Enhanced Representation through kNowledge IntEgration (ERNIE), and the remaining three were based on ALBERT. Experiments were conducted using three datasets, where all annotation schemes were mapped to ‘Hateful’, ‘Offensive’, or ‘Neither’ in order to facilitate for cross-dataset training and evaluation. The results suggest that the knowledge-integrating models perform better than the relatively light model on both in- and cross-domain experiments. An extensive discussion of the compatibility between the various annotation schemes was carried out with respect to definitions presented in the research papers published in conjunction with the datasets.

Automatic hate speech detection using machine learning is important to keep social media healthy. It is problematic that no common definition of hate speech and offensive language exists, and the subjective nature of the topic makes it hard to create coherent datasets. Different data compilation methodologies for different datasets and changing trends on social media introduce topical differences between datasets. If the goal is to consistently have a good model for practical use, a combination of datasets may be needed for models to obtain knowledge about the subtle characteristics that turn a social media post hateful.