Self-Supervised Human Activity Recognition on Free-Living Sensor Data Streams

Abstract

Å kvantifisere befolkningens fysiske aktivitetstilstand gjøres tradisjonelt gjennom spørreskjemaer, en metode som er underlagt iboende skjevheter. Som et alternativ kan menneskelig aktivitetsgjenkjenning (HAR) gjennom datastrømmer fra sensorer potensielt tilby en mer nøyaktig tilnærming til vurdering av fysisk aktivitet. Denne oppgaven tar sikte på å utvikle et system for nøyaktig gjenkjenning av aktiviteter under frie leveforhold - en merkbar mer kompleks oppgave enn å gjenkjenne aktiviteter som har blitt utført i lab-omgivelser på grunn av mangfoldet og uforutsigbarheten under frie leveforhold. En betydelig utfordring med frie leveforhold i HAR er den kostbare prosessen med innsamling av merkede (labeled) data. Dette fører oss til å utforske om selv-veiledede læringsmetoder (SSL) kan brukes til HAR under frie leveforhold som en måte å redusere avhengigheten av disse merkene (labels) ved å lage hjelpeoppgaver fra rå umerkede data. Dette er en metodikk som har oppnådd betydelig suksess i forskjellige andre domener som datasyn og talegjenkjenning. For dette formålet bruker vi hovedsakelig det umerkede fritt-livs HUNT4-datasettet for selv-veiledning, som består av akselerometeropptak fra rundt 35 000 deltakere som ble registrert i omtrent en uke. For veiledet finjustering brukes det fri-livs og merkede HARTH-datasettet, som består av akselerometeropptak fra 22 deltakere registrert i omtrent 1-2 timer.

Vi undersøker og implementerer de to fremtredende SSL-metodene SimCLR og SimSiam som representerer to domener av selv-veiledet læring, nemlig kontrastiv og ikke-kontrastiv læring. Vi kommer frem til at forhåndstreningstrinnet (pre-training stage) identifiserer egenskaper som er verdifulle for klassifiseringen av visse aktiviteter. Til tross for dette, overgår ren overvåket læring fremdeles disse metodene, med en forbedring på så mye som 21 % fra SimCLR. Funnene våre indikerer at visse hverdagsaktiviteter utgjør en mye større utfordring i klassifiseringen enn andre. Videre overstiger SimCLR konsekvent SimSiams prestasjoner i alle eksperimenter, noe som understreker viktigheten av å kontrastere negativer i SSL for fri-livs HAR. Vi adresserer også problemet med utvalgsskjevhet i kontrastiv selv-veiledet læring ved å implementere falsk negativ deteksjon ved hjelp av clustering. Imidlertid tyder funnene våre på at denne tilnærmingen ikke forbedrer treningsprosessen sammenlignet med å gjøre tilfeldig utvalg. Samlet sett, selv om SSL viser potensiale i HAR, viser resultatene våre at det fremdeles er betydelig rom for forbedring av anvendelsen i fri-livsmiljøer. Vi finner også at det bare er en mindre nedgang i ytelsen til både SimCLR og SimSiam når vi forhåndstrener modellen på det mye mindre UCI-HAR-datasettet som består av en annen type sensorsoppsett og registreringsmiljø enn HARTH. Til slutt finner vi at den overvåkede versjonen overgår den beste selv-veilede metoden, SimCLR, allerede ved under 1 % av tilgjengelige etiketterte data.

Quantifying the state of physical activity among the population is traditionally done through questionnaires, a method subject to inherent biases. As an alternative, Human Activity Recognition (HAR) from sensor data streams can potentially offer a more accurate approach to assessing physical activity. This thesis aims to develop a system for accurately recognizing activities under free-living conditions - a notably more complex task than recognizing activities recorded in-lab due to the diversity and unpredictability of real-world environments. One significant challenge with free-living data is the costly process of collecting labeled data. This leads us to explore whether self-supervised learning methods (SSL) can be utilized for free-living HAR as a way to reduce the reliance on these labels by creating auxiliary tasks from raw unlabeled data. This is a methodology that has achieved significant success in various other domains like vision and speech recognition. For this purpose, we mainly utilize the unlabeled free-living HUNT4 dataset for self-supervision, which consist of accelerometer recordings from around 35 000 participants that were recorded for roughly a week. For supervised fine-tuning, the free-living and labeled HARTH dataset is used, which consists of accelerometer recordings from 22 participants recorded for around 1-2 hours.

We examine and implement the two prominent SSL methods SimCLR and SimSiam that represent two domains of self-supervised learning, namely contrastive and non-contrastive learning. We find that the pretraining stage successfully identifies features valuable for the classification of certain activities. However, despite the apparent promise of these methods, purely supervised learning still outperform these methods, with an improvement of as much as 21 \% from the SimCLR. Our findings indicate that certain everyday activities present a much greater challenge in classification than others. Moreover, SimCLR consistently exceeds SimSiam's performance in all experiments, emphasizing the importance of contrasting negatives in SSL for free-living HAR. We also address the issue of sampling bias in contrastive self-supervised learning by implementing false negative detection using clustering. However, our findings suggest that this approach does not enhance the training process compared to doing random sampling. Overall, while SSL demonstrates potential in HAR, our results show there still is considerable room for enhancement and refinement of its application in free-living environments. We also find that there is only a minor drop in performance of both SimCLR and SimSiam when pre-training the model on the much smaller UCI-HAR dataset which consists of a different sensor setup and recording environment than HARTH. Lastly, we find that the supervised version outperforms the best self-supervised method, SimCLR, already at below 1 \% of available labeled data.