Unsupervised Deep Learning Applied to Multivariate Time Series for Human Activity Recognition

Abstract

Gjenkjenning av fysiske aktiviteter har blitt et viktig forskningsområde på grunn av potensialet til å løse et mangfold av problemer, som for eksempel innen helse. Det har blitt gjort en større mengde forskning på gjenkjenning av dagligdagse aktiviteter, men mindre på aktiviteter av høy intensitet, slik som boksing. Et gjentakende problem innen aktivitetsgjenkjenning er at annotering av aktiviteter er tidkrevende og lite effektivt. En uovervåket tilnærming til aktivitetsgjenkjenning kan være fremtiden, da det letter på problemet med annotering. Nylig har flere større undersøkelser rapportert at det er lite forskning på uovervåket aktivitetsgjenkjenning, spesielt innen aktiviteter av høy intensitet. I denne oppgaven legges det frem en bred bakgrunn og relevant tidligere arbeid for uovervåket aktivitetsgjenkjenning i boksing. En metode basert på en autokoderarkitektur blir presentert og brukt for å anse verdien av uovervåket læring anvendt i boksing. Et sett med eksperimenter blir gjennomført for å avdekke verdien av segmentfiltrering basert på terskelverdier, undersøke verdien av ulike sensoroppsett, og for å anse hvorvidt en forhåndstrent koder gir verdi i et overvåket system. Fra eksperimentene kommer det tydelig frem at segmentfiltreringen fjerner støy, at bruken av flere sensorer ikke nødvendigvis er bedre enn færre sensorer, og at uovervåket læring minker annoteringsproblemet tilknyttet menneskelig aktivitetsgjenkjenning samtidig som det antyder konkuransedyktighet med overvåkede systemer.

Human activity recognition (HAR) has become important research due to its potential to solve problems in various areas, such as healthcare. In the field, there has been a substantial amount of research within recognizing daily activities, but less on fast-paced activities such as boxing. A reappearing issue of activity recognition is that labeling time series can be cumbersome and time-consuming. An unsupervised approach could be the future of human activity recognition as it can potentially alleviate this problem. Recently, extensive surveys report that little research has been done within unsupervised HAR, especially in fast-paced activities. This thesis manifests broad background knowledge and some related work to understand unsupervised HAR in boxing. A method based on an autoencoder architecture is presented and utilized in assessing the value of unsupervised learning in boxing. A set of experiments are conducted to uncover the value of segment filtering based on thresholds, the significance of different setups of sensors, and the utility of a pretrained encoder in a supervised setting. From the experiments, segment filtering proves to remove noise, and it becomes clear that a setup of more sensors does not necessarily outperform a setup of fewer sensors. Finally, it is revealed that unsupervised learning can help mitigate labeling issues while being competitive with models of fully supervised systems.