Automatic Accompaniment Generation Using Generative Adversarial Networks

Abstract

Denne masteroppgaven presenterer forskning på bruken av generative adversarial networks bestående av recurrent neural networks til å generere akkompagnement for melodier,

Gjennom en rekke eksperimenter ble arkitekturens evne til å gjennomføre denne oppgaven utforsket. Reultatene viste en begrenset evne til å generere passende akkompagnement for en melodi, men det ble også demonstrert noen ønskede kvaliteter fra visse konfigurasjoner av arkitekturen. Seks forskjellige eksperimenter ble gjennomført. Det første eksperimentet var en basiskonfigurasjon som genererte akkompagnement som ikke demonstrerte noen grad av variasjon. I stedet inneholdt de genererte akkompagnementene kun den samme enkelte noten uavhenging av input til systemet. Det andre eksperimentet implementerte teknikker som håndterte dette problemet, men resultatene ble fortsatt de samme. Det tredje eksperimentet testet forskjellige læringsgrader, og eksperiment fire og fem testet antallet og størrelsen på tidsstegene som ble brukt som input. Det siste eksperimentet endret på arkitekturen slik at genereringen kun var avhengig av melodien, og ikke de tidligere genererte tidsstegene slik som i de foregående eksperimentene. Dette demonstrerte mer variasjon i de genererte akkompagnementene, og systemet demonstrerte atferd som tydet på at det tilpasset genereringen basert på hendelser i melodien. Hovedbegrensningene til systemet gjennom alle eksperimenter er det få antallet noter i vokabulæret systemet oppnår. Dette fører til at alle genererte akkompagnement inneholder de samme notene, noe som gjør at de genererte akkompagnementene sjeldent passer til melodien, da de vanligvis er i forskjellige tonearter.

Systemet demonstrerte begrensede evner gjennom denne oppgaven, men det viste noe lovende atferd som bør motivere videre forskning. Denne forskningen bør fokusere på å utvide vokabulæret av noter som systemet oppnår, og gi systemet informasjon om hvilke noter som passer sammen.

This thesis presents research into the use of generative adversarial networks consisting of recurrent neural networks to generate musical accompaniment for melodies.

Through a series of experiments, the capabilities of the architecture with regards to the task were explored. The overall results presented limited capabilities of generating fitting accompaniments for a leading melody, though some desirable behaviour was exhibited from certain configurations of the architecture. Six different experiments were conducted. The first experiment was a baseline configuration that generated accompaniments that showed no variations across all generations, instead outputting the same single note for all input melodies. The second experiment implemented techniques to handle this problem, but ultimately produced the same results. The third experiment tested the learning rates, and experiment four and five tested the number and size of the input time steps. These three experiments generated accompaniments that contained some degrees of variation, though they all were very similar. The final experiment altered the architecture so that the generated output was only based on the leading melody, and not on the previously generated outputs as had been the case in the preceding experiments. This configuration displayed a greater degree of variation across the generated accompaniments, and exhibited behaviour that the system adjusted its output based on the events in the leading melody. The main limitation across all experiments is the small vocabulary of notes that the system obtains. This leads to the generated accompaniments all containing the same few notes which causes the generated accompaniments to rarely fit with leading melody, as they are usually in different keys.

Overall the capabilities of the architecture displayed in this thesis are limited, but the architecture does display some promising behaviour which should motivate further research. This research should focus on increasing the vocabulary of notes that the system possesses, and giving information to the system as to which notes fit together.