Support Vector Machines on Riemannian Manifolds

Abstract

Støttevektormaskiner er nyttige verktøy brukt til binærklassifikasjon av datasett på Hilbertrom. I noen applikasjoner derimot, slik som å klassifisere hippocampuser til mennesker med schizofreni eller separare hjernesignaler basert på stimuli, ligger ikke dataen naturlig på et Hilbertrom. I stedet anser vi dataen for å ligge på generaliserte overflater kalt Riemannske mangfoldigheter. Vi presenterer en ny klassifiskasjonsmodell på Riemannske mangfoldigheter, inspirert av støttevektormaskiner, som kalles Avstands-støttevektormaskin. Denne modellen klassifiserer data ved å vekte den Riemannske avstanden til en mengde støttepunkt, i stedet for å beregne indreproduktet. Vi presenterer også variasjoner på denne modellen som produserer lineære skilleplan i Hilbertrom. Til sammenligning tester vi Avstands-støttevektormaskinmodellene og tre eksisterende modeller for klassifisering på Riemannske mangfoldigheter på ekte data fra hjernemaskingrensesnitt-konkurransen BCI-IV, og viser at de glisne Avstands-støttevektormaskinmodellene er konkuransedyktige hva gjelder treffsikkerhet på testdatasettet.

Support vector machines (SVM's) are useful tools used to perform binary classification of datasets on Hilbert spaces. However, in certain applications such as classifying the hippocampi belonging to people with schizophrenia, or separating brain signals due to specific stimuli, the data do not lie on Hilbert spaces. Instead, it is beneficial to model the data as belonging to generalized surfaces called Riemannian manifolds. In this thesis we present a novel classification model on Riemannian manifolds, inspired by the SVM model, called Distance SVM (DSVM). This model classifies data by a weighted sum of the Riemannian distance between support points, instead of computing their inner product. Variations on the Distance SVM model which produce linear separators on Hilbert spaces are also considered. In addition, we compare the Distance SVM models with three other existing manifold SVM models on real world data from the brain computer interface competition BCI-IV and show that the sparse DSVM models are competitive in test accuracy.