In depth analysis of Long-Short-Term-Memory Neural Networks with the purpose of detecting cyberbullying

Abstract

Sosiale medier har blitt svært populære i den siste tiden. Blant alle fordelene som sosiale medier bragt med seg, er det også noen problemer. Ett av de største problemene som har kommet med den økte bruken av sosiale medier er nettmobbing. Ny statistikk viser at nettmobbing er et problem som øker i omfang år etter år. Problemet er at sosiale medier skaper så mye data at det er svært vanskelig å fange opp og stoppe nettmobbing ved hjelp av manuell overvåkning. Dette har motivert forskere til å forsøke å finne en automatisert metode for å fange opp tilfeller av nettmobbing. I de siste årene så har det blitt populært blant forskere å bruke en type kunstig intelligens nettverk kalt Long-Short-Term-Memory Neural Network til dette formålet.

I denne masteroppgaven vil vi presentere vår empiriske evaluering av forskjellige typer kunstig intelligens nettverk, for å undersøke hvordan man bør designe disse nettverkene for å maksimere deres evne til å fange opp nettmobbing. Vi har foretatt to omfattende eksperimenter med Long-Short-Term-Memory Neural Networks, hvor vi har testet 56 forskjellige design, for å se hvilke som fungerer best. Disse eksperimentene har blitt gjennomført som faktoriale eksperiment, som betyr at et sett av variabler har blitt endret i samspill med hverandre. Dette har gjort det mulig for oss å studere årsak-virkning sammenhenger mellom variablene på en mye bedre måte enn hva som er mulig ved å kun studere tidligere publisert forskning.

For å gjøre eksperimentene i denne studien så relevant som mulig for fremtidig forskning innen feltet, så har vi basert hele vår Natural Language Processing pipeline som leder opp til kunstig intelligens nettverkene på eksisterende «state of the art» forskning innen feltet. Vi går også igjennom vår Natural Language Processing pipeline i detalj, slik at den lett kan bli gjenbygd av utenforstående, og dermed brukt til fremtidig forskning på andre variabler enn de vi tester.

I våre eksperimenter så tester vi fire hoved variabler; komposisjon av forskjellige typer nettverkslag, stabling av like typer nettverkslag oppå hverandre, hvor mange generasjoner nettverket trenes og aktiveringsmekanisme for de to forskjellige klassene. Våre funn viser at den beste komposisjonen av nettverkslag er å kombinere lagene fra et typisk Convolutional Neural Network med Long-Short-Term-Memory nettverkslag. Vi fant også ut at uansett hvilken komposisjon av nettverkslag man bruker så vil man forbedre ytelsen til det kunstige nettverket ved å stable to like sett med lag oppå hverandre. Som forventet, så fant vi også ut at et nettverk som er trent tilstrekkelig yter bedre enn et nettverk som ikke er trent nok, men det er ikke noen sammenheng mellom hvor mye trening et nettverk krever og hvor godt det yter. Til slutt så beviste vi også at det ikke er noen grunn til å alltid velge Softmax aktivering i et kunstig nettverk, slik som de fleste forskerne har en tendens til å gjøre. Dette fordi vår studie viser at et nettverk med en aktiveringsmekanisme som etterligner hvordan Support-Vector-Machines modeller virker, yter bedre enn Softmax aktivering.

Social media usage has skyrocketed the last decades. Along with all the upsides of social media, there are also a few downsides. One of the most problematic downsides has been the rise of cyberbullying. New statistics shows that this problem has kept on escalating in the recent years. The problem with detecting and preventing cyberbullying is that social media generates so much data that it is virtually impossible to detect cyberbullying by performing manual inspections. This has motivated researchers to come up with new automated methods of detecting cyberbullying. In the most recent years, it has become popular among researchers to utilize a type of artificial Neural Network called Long-Short-Term-Memory Neural Network.

In this thesis we present the empirical evaluation of different types of artificial Neural Network to see how the network can be designed to maximize its performance with regards to detecting cyberbullying. To find the best design of a Long-Short-Term-Memory Neural Network we conduct two experiments, testing 56 different designs. These experiments have been designed as factorial experiments, meaning that a set of variables has been modified in combination with each other. This lets us track any cause and effect relationships between the different variables in a much more accurate way, than what is possible by studying the existing research within the field.

In order to make the results of this study as relevant as possible to the state-of-the-art cyberbullying research, we base the whole Natural Language Processing pipeline that leads up to the artificial Neural Network on the existing state-of-the-art research. We also explain this Natural Language Processing pipeline in depth, such that it can be recreated, and used for continuous study of other variables that are not tested by us, in future research projects.

Four main variables are tested in this thesis; composition of different layer types, stacking of equal layer types, training epochs and activation mechanisms for the classes. Our findings show that the best composition of layer types are found by combining a traditional Convolutional Neural Network with a Long-Short-Term-Memory Neural Network. We also find that all of the Neural Networks, no matter what layer composition, benefit from going from no stacking to stacking its layers twice. As expected, we also find that Neural Networks perform better when properly trained, but there is no correlation between how much training a model needs and how well it performs. Lastly, we prove that there is no reason to blindly choose Softmax as the activation for the classes in the Neural Network models, as most of the researchers tend to do. Our findings show that using an activation mechanism that mimics the mechanisms of a Support-Vector-Machines classifier outperforms the Softmax activation, with all four different layer compositions of the Neural Network that we tested.