Combining Deep Learning and Combinatorial Optimisation to Generate Four-Part Chorales

Abstract

Denne masteroppgaven beskriver implementasjonen av en funksjonell prototype som består av et rekurrent neuralt nettverk og en branch-and-bound optimeringsalgoritme i konjunksjon for å generere musikk som tilretter seg reglene for firstemmig korallsats i Bach-stil. Den eksakte naturen til musikk generert av neurale nettverk er vanskelig å forutse, og derfor også å manipulere på noen som helst meningsfull måte mellom input og output. Hvor godt resultatene gjenspeiler de mer abstrakte aspektene av musikk er vanskelig å kontrollere, og ofte viser de lite eller ingen musikalsk struktur eller kreativitet. I tillegg er det få innfallsvinkler for interaksjon og inngripen når man benytter seg av et slikt "svart boks"-system. Denne oppgaven utforsker måter å imøtekomme disse utfordringene på fra utsiden, og viser at kombinatoriske optimeringsstrategier kan benyttes i etterkant til å påføre musikalske rammer og endre output slik at den innfinner seg konvensjonene og forventningene til vestlig musikkteori. De nye resultatene demonstrerer en stor forbedring i funksjonell struktur, melodisk og harmonisk utvikling og estetikk sammenlignet med fra før. Selv om prototypen ikke var i stand til å finne optimale transformasjoner fra neuralnettverkets output innenfor rimelig tid, ble det demonstrert en metode som finner lavkostnadskombinasjoner med gyldig struktur som kan benyttes til å generere resultater som demonstrerer programmets funksjon.

This thesis describes the implementation of a functional prototype consisting of a recurrent neural network and a branch-and-bound optimiser which together generate original music compliant to the rigid rule-set of the four-part chorale in the style of Johann Sebastian Bach. The exact nature of music generated by neural networks is troublesome to predict, and by extension to manipulate in any meaningful way between input and output. How well the results adhere to the more abstract aspects of music is hard to control, and often display little to no musical structure or significant creativity. Also, there are few avenues for interactivity and active intervention in the usage of such a "black-box" system. The paper explores means to mitigate this externally, and shows that combinatorial optimisation strategies can be employed post-generation to enforce musical constraints and adjust the output in such a way that it adheres to the conventions and expectations of western music theory. The constrained results display significant improvement in functional structure, melodic and harmonic progression and aesthetics compared to those generated by the neural network alone. Although the prototype is not capable of locating optimal transformations from the neural network output within reasonable time, a method for finding low cost chord combinations with valid structure can be used to generate results that demonstrate the applications of the system.