Effects of Restrictive Classification on Audio Source Separation Using Non-Negative Matrix Factorization

Abstract

En enkeltkanal kildesorteringsalgoritme ble implementert ved å bruke Python med Csound integrasjon. Algoritmen er baser på en ikke-negativ matrisefaktoriseringsmodell, som var konfigurert til å lære mønster i magnitude-spekteret til lyd fra forskjellige musikkinstrumenter. Modellen ble uavhengig trent med lyd fra fire forskjellige instrumentklasser, og alle mønstrene ble kombinert i en stor ordliste sammen med tilhørende klassifiseringsinformasjon. Klassifiseringstreffsikkerheten til alle mønstrene i ordlisten ble så funnet. Ved å bruke den samlede ordlisten, klassifiseringsinformasjonen og klassifiseringstreffsikkerheten, en verifikasjonstest av modellen ble gjentatt med forskjellige instrumentkombinasjoner og innstillinger for å finne ytelsen. I testene, mønster under gitte klassifiseringstreffsikkerheter ble holdt utenfor kildesepareringsporsessen. Det ble funnet at under gitte omstendigheter, er det mulig å få en liten forbedring av en dårlig modell uten videre negative effekter ved å lett begrense ordlisten basert på klassifiseringstreffsikkerhet av mønster.

A single-channel audio source separation algorithm was implemented using Python with Csound-integration. This algorithm was based around the non-negative matrix factorization (NnMF) machine-learning technique, and it was configured to learn magnitude-spectrum patterns from samples of different musical instruments. Each instrument class was taught separately and independently from the one another, and all the learned patterns were then combined into a single NnMF model dictionary labeled with respective instrument classes. The classification accuracy of each pattern in the dictionary was then found. Using the dictionary and pattern accuracy-data, a verification test was repeated several times to measure the performance of the NnMF model. In the tests, patterns would be restricted (pruned) during the source separation if classification accuracy were below a given threshold. It was found that restricting patterns below a certain classification accuracy threshold could under given circumstances on a poor model have a modest improvement on the source separation performance, as well as little to none adverse effects under most other circumstances.