Neural Network for Recognizing Features in Music

Abstract

Gjennom de siste to tiårene har det blitt gjort stor fremgang rundt identifisering og klassifisering av trekk og egenskaper i musikk, gjennom bruk av fremgangsmåter som neural networks og maskinlæring. Til tross for dette er feltet fremdeles under utvikling, og det er en mangel på samlede implementeringer som dekker både beat-identifisering og akkord-klassifisering. Som en del av denne avhandlingen gjøres forsøk på å bruke og kombinere eksisterende verktøy, bibliotek og modeller innen feltet for å trekke ut data rundt tempo og akkorder i musikk.

Selv om perfekt identifisering og klassifisering ikke er oppnåelig, gjøres en undersøkelse av fordeler og ulemper av klassiske algoritmer, Hidden Markov modeller og neural networks. Denne undersøkelsen har formålet å finne den beste løsningen gitt begrensningene satt ut i oppgaven. Ideer for hvordan løsningen kan forbedres utenfor slike begrensninger er også utforsket. En algoritmisk tilnærming for analyse av onset styrke ble valgt for identifisering av beats. For akkorder ble en randomisert implementasjon av grid search gjort på et neural network som fødtes med forprosessert lyddata uten vokaler. Gjennom denne tilnærmingen ble top-1 nøyaktighet på 82% oppnådd for akkord-klassifisering, klart overlegen det algoritme-baserte løsninger klarte.

There has been significant progress made over the past two decades regarding the identification and classification of traits and features in music using neural network and machine learning approaches. However, this field is still developing and there is a lack of unified implementations covering detection of beats and classification of chords. As part of this study, attempts are made at using and combining existing tools, libraries, and models within the field to extract data about tempo and chords from music.

Though perfect identification and classification is unreachable, an examination of the comparable benefits and drawbacks of classical algorithms, hidden Markov models and neural networks is performed. This with the end goal of achieving the best solution given initial constraints. Ideas on how to further improve on this solution sans constraints are also explored. An algorithmic approach analyzing onset strength was chosen for identifying beats. For chord classification, a randomized grid search was performed on a neural network being fed preprocessed audio data sans vocals. With this approach, a top-1 accuracy of 82% was achieved for chord identification, far superior to algorithmic solutions attempted.