What a Twist - Using Deep Neural Networks to Generate Plot Twists

Abstract

Det å skape fortellinger er en grunnleggende del av det å være et menneske. I mange tusen år har fortellinger blir delt fra person til person. Men kan datamaskiner nå bidra til dette? I de siste hundre år har mange teknikker for å automatisk generere fortellinger eller handlinger blitt forsøkt. Dette har ført til noen spennende resultater. Denne masteroppgaven tar et hierarkisk nevralt nettverk og forsøker få det til å generere en god handlingsvri (engelsk: plot twist). Prosjektet prøver også å finjustere en pre-trent transformator til formålet å generere en handlingsvri.

Handlingsvrier er spesielle innenfor forfatterskap fordi man må forstå premisset for handlingen, og publikum sine forventninger, for å kunne skrive en god handlingsvri. Det krever også god språkforståelse, og er totalt sett ikke noe datamaskiner er kjent for å kunne gjøre enda. I denne masteroppgaven ble eksiterende datasett som var laget for handlingsgenerering vurdert til formålet å trene nevrale nett som skulle generere handlingsvrier. Ingen av de eksisterende var brukbare til dette, og dermed ble to datasett bygget til dette prosjektet ved å bruke flere kilder. Utfordringen deretter, ble at det ble klart at det var umulig å finne mange nok eksisterende eksempler på handlingsvrier til å effektivt trene et nevralt nettverk.

Fordi det ble umulig å finne nok handlingsvrier til å trene et nevralt nettverk, ble å finjustere en pre-trent transformator en bedre løsning. GPT-2 ble finjustert på et datasett av handlingsvrier bygget for dette prosjektet. Handlingsvriene som så ble generert var gode nok til å så tvil blant mennesker i en blindtest som ble utført.

Storytelling is a fundamental part of being human. Over thousands of years, stories have been told and passed down. It is one of the things that set us apart from animals. However, can machines be made to do this? The answer is yes. Over the last century, many different techniques were tested, leading to some exciting results. This Master's Thesis takes a hierarchical neural network system and aims to modify it to generate a compelling plot twist. This project also fine-tunes a pre-trained transformer for the same purpose of generating a twist.

Plot twists are unique because they require an understanding of a premise and a subversion of audience expectation. This is linguistically advanced and not something machines are widely known to be able to do. In this project, existing datasets for story generation training were considered. Since they were not found to be suitable, two datasets of twists were created from a variety of sources. The challenge then became the low amount of twists compared to how many entries are needed to train a neural network.

Since compiling enough examples of twists to train a neural network was impossible, fine-tuning a pre-trained transformer was a much more feasible approach. By fine-tuning GPT-2 on a dataset of twists compiled for this project, twist prompts were generated, which were able to make the human judges doubt whether or not they were generated.