The Art of Music: Generating art based on emotions recognized in music
Abstract
Denne masteroppgaven utforsker bruken av følelser gjenkjent i musikk som grunnlag forå generere visuell kunst som formidler de samme følelsene. Gjennom et litteraturstudieom Generative Adversarial Networks (GANs) og Music Emotion Variation Detection(MEVD) forskes det på hvordan de to områdene kan kombineres i et tverrfaglig kunstverk.Forskningen inkluderer også transformasjonen mellom de to kunstdomene, uten at detfølelsesmessige uttrykket i musikken går tapt. Musikk er en kraftfull kunstform meden sterk emosjonell uttrykksevne. Den brukes ofte sammen med andre kunstformer forå forsterke eller legge til emosjonell dybde i den tilhørende kunstformen. Musikk blirsjeldnere brukt med samme hensikt sammen med visuell kunst. Selv om det finnestverrfaglige kunstverk der visuell kunst akkompagnerer musikk og forsøker å berikebudskapet i musikken ytterligere, er det mindre vanlig at musikken akkompagnerer denvisuelle kunsten med samme formål. Denne masteroppgaven utforsker dette forholdetog undersøker hvordan musikk kan ledsage visuell kunst for å støtte det emosjonelleuttrykket i den visuelle kunsten. Muligheten for at visuell kunst kan uttrykke de sammefølelsene som gjenkjennes i musikk utforskes også. Dette skjer gjennom en transformasjonfra det auditive uttrykket i musikken til det visuelle uttrykket i kunsten.
Med utgangspunkt i disse aspektene er det implementert et nytt system kalt “TheArt of Music” (AoM). Dette systemet kombinerer teknikker fra MEVD og GANs for ågenerere visuell kunst basert på det gjenkjente emosjonelle innholdet i musikk. Systemeter implementert i to varianter: statisk AoM og dynamisk AoM. Statisk AoM har somformål å generere visuelle kunstverk med evnen til å uttrykke de samme følelsene som ensang gjør. Systemet genererer kunstverk ved hjelp av en StyleGAN2-ADA-modell som ertrent betinget på ArtEmis-datasettet. En Support Vector Regression (SVR)-modell brukestil å gjenkjenne de emosjonelle variasjonene i musikken, som deretter transformeres til etkunstverk generert av GAN-modellen ved å bruke den emosjonelle distribusjonen somden betingende vektoren. Det dynamiske AoM-systemet kombinerer de to kunstformenei et tverrfaglig kunstverk, der den visuelle kunsten skapes ved å interpolere mellomulike visuelle elementer basert på, og synkront med, de emosjonelle variasjonene somgjenkjennes i musikken.
Det foreslåtte AoM-systemet evalueres gjennom brukerundersøkelser, intervjuer ogkvalitative metoder for å måle kvaliteten og det følelsesmessige uttrykket i kunsten. Deter også gjennomført mer detaljerte intervjuer for å undersøke hvordan de dynamiskekunstverkene bidrar til å uttrykke følelser og hvordan forholdet mellom følelsene i de tomediene oppfattes. Resultatene fra undersøkelsene viser variasjoner i hvor godt kunstenformidler de tiltenkte emosjonene, men er lovende for fremtidig arbeid med systemet ogdet omfatte området. Forbedringer av enkelte deler i systemet kan potensielt forbedreytelsen til hele systemet og øke resultatene når det gjelder det følelsesmessige uttrykket ikunstverkene This thesis explores the potential of utilizing emotions recognized in music as the basisfor generating visual art conveying the same emotions. A study of existing literatureon Generative Adversarial Networks (GANs) and Music Emotion Variation Detection(MEVD) is conducted, researching how the two areas can be combined into an interdisciplinary work. How a transformation between music and art without loss of emotionalexpression could be achieved is also researched. Music can be seen as a powerful art form,carrying a lot of emotion in its expression. It is also often used in conjunction with otherart forms to enhance or add layers to the emotional aspect of the art form it accompanies.More rarely is music seen in combination with visual art for the same purpose. Suchartworks exists where visuals accompany the music to enrich the message of the musicfurther, but rarely the other way around. This project explores this relationship andinvestigates how music could accompany art to support the emotional expression in theart. It also explores the possibility of art expressing the same emotions as recognized inmusic, transforming the auditory expression of the music into the visual expression ofthe art.
Building upon this foundation, a novel system called The Art of Music (AoM) isproposed. This system combines the techniques of MEVD and GANs to generate visualart based on the emotional content recognized in music. The system exists in twovariations: static AoM and dynamic AoM. The static AoM aims to generate a visualartwork that conveys the same emotions in a musical piece. It generates artworks througha GAN model trained conditionally on an art dataset labeled with expressed emotions. ASupport Vector Regression (SVR) model recognizes the emotional variations in a musicalpiece which is transformed into an artwork generated by the GAN model using theemotional distribution as the conditional vector. The dynamic AoM system combines thetwo art forms into an interdisciplinary artwork, where the visual art interpolates betweendifferent visuals based on and synchronized with the emotional variations recognized inthe music.
The proposed AoM system is evaluated through user surveys, interviews, and qualitativemethods, where the quality and emotional resonance of the visuals is measured. Moredetailed interviews are also carried out to reveal how the dynamic art and music artworkshelp express the emotions of the artwork and how the relationship between the emotions ofthe two mediums is perceived. Results from the survey and interviews display variationsin how well the art conveys its intended emotions but are promising for the futurework of the system and area. Improvements to the individual parts of the system couldfurther improve the system’s performance and increase results in terms of the emotionalexpression of the artworks.