Moderating Respectful Conversations Using Reinforcement Q-Learning and Markov Decision Process Approaches

Abstract

I en tid hvor digital kommunikasjon er dominerende, står vi overfor et økende problem med hatprat. Denne oppgaven tar for seg anvendelsen av forsterkende læringsteknikker, spesielt Markov-beslutningsprosesser (MDP) og Q-læringsalgoritmer, i kampen mot hatprat på nettet og for å fremme en mer respektfull dialog. Avhandlingen dykker ned i de teoretiske fundamentene for forsterkende læring, og viser hvordan intelligente agenter kan finjustere sine handlinger gjennom kumulative belønninger og straffer. Oppgaven presenterer en ny tilnærming hvor moderering av hatprat modelleres som en MDP. Her representerer tilstandene forskjellige grader av toksisitet i samtaler, mens handlingene omfatter ulike modereringsteknikker. Ved hjelp av Q-læringsalgoritmen utvikles en agent som lærer å velge den mest effektive responsen til toksiske dialoger, basert på akkumulerte belønninger. Systemet evalueres gjennom tester på simulerte samtaler med varierende toksisitetsnivåer. Resultatene viser at det kan moderere innhold på en nøyaktig og dynamisk måte. Avhandlingen adresserer også potensielle etiske problemstillinger og skisserer fremtidige forskningsretninger innen automatisert moderering av innhold ved hjelp av forsterkende læring

Today, a growing problem of hate speech is rampant in a world where digital communication dominates. This thesis investigates the use of reinforcement learning, especially Markov Decision Processes (MDPs) and Q-learning algorithms, to moderate hate speech and promote respectful dialogue on online platforms. The thesis explores the theoretical foundations of reinforcement learning, illustrating how agents can optimize their actions based on cumulative rewards and penalties. The research proposes hate speech moderation as an MDP, in which states are the toxicity levels in conversations and actions are the responses to moderation. Through the Q-learning algorithm, a moderation agent is trained to determine the most effective response to toxic discourse scenarios based on cumulative rewards. The proposed system is tested on simulated conversations of varying toxicity levels. The results demonstrate the system’s ability to moderate content accurately and adapt its responses dynamically. The thesis also addresses potential ethical concerns and suggests directions for future research in automated content moderation using reinforcement learning