Lyric-based melody generation - Making use of multi-objective optimisation

Abstract

Arbeidet som blir presentert i denne masteroppgaven dreier seg hovedsakelig om datamaskinstyrt musikkgenerering, som er en fremtredende gren innenfor datamaskinstyrt kreativitet. Den viktigste motiverende faktoren for å gjennomføre dette forskningsprosjektet har vært å oppdage muligheter for datamaskinstyrt generering av musikk, med et hovedfokus på evolusjonære løsninger, og på denne måten bidra til videreutviklingen av feltet datamaskinstyrt kreativitet. Den viktigste delen av det gjennomførte arbeidet i forbindelse med denne masteroppgaven er implementasjonen av et system som er i stand til å automatisk generere melodier basert på oppbyggingen av gitte inputtekster, samt tekstenes følelsesmessige kvaliteter. Hoveddelen av systemet er en evolusjonær algoritme med fokus på å optimere flere delmål. Denne algoritmen håndterer selve melodigenereringen, mens det i tillegg er brukt andre algoritmer til sentimentanalyse og detektering av stavelser i inputtekster. Systemimplementasjonen ble kvantitativt evaluert gjennom en spørreundersøkelse, og det viktigste funnet fra denne var at systemet ble ansett som potensielt nyttig som en assisterende ressurs ved komponering av musikk. Kvaliteten til systemets genererte melodier kan også anses som lovende, ettersom de aggregerte resultatene fra spørreundersøkelsen antyder at de evaluerte melodiene har en kvalitet noe over middels.

De viktigste forskningsbidragene til denne masteroppgaven er det implementerte systemet, i tillegg til utforskning av flere evolusjonære konsepter innen datamaskinstyrt musikkgenerering, slik som testing av diverse fitnessfunksjoner av musikalsk art. Viktige funn fra spørreundersøkelsen kan også regnes som viktige bidrag, ettersom de kan hjelpe med å kartlegge folks forventninger til kvaliteten på automatisk genererert musikk.

The work presented in this master's thesis revolves around the field of computational music generation, which is a prominent sub-field of Computational Creativity. The main motivation for the research conducted throughout this project has been to discover various computational solutions for music generation, with an emphasis on evolutionary approaches, and as such provide contributions within the field of Computational Creativity. The most substantial part of the work, presented in this thesis, is the implementation of a system capable of generating melodies based on the emotional expression and structure of input lyrics. The core element of said system is a multi-objective evolutionary algorithm that handles the generation of melodies, also making use of sentiment analysis and syllabification algorithms for the input lyrics. The implementation was quantitatively evaluated through a questionnaire, and the most interesting finding was that the system was deemed useful as an assisting resource for music composition. The system output can also be considered encouraging, as the aggregated questionnaire scores suggested that the quality of the generated melodies was on the favourable side of neutral.

The main contributions of this master's thesis are the implemented system, as well as explorations within evolutionary concepts of computational music generation, such as the testing of various musically grounded fitness approaches. The insights gathered from the questionnaire can also be deemed a valuable contribution, as it could provide clarity of people's expectations regarding the behaviour and quality of automatically generated music.