Ensemble Classifier Managing Uncertainty in Accelerometer Data within Human Activity Recognition Systems

Abstract

Human activity recognition (HAR) er et forskningsområde med mål om å klassifisere aktiviteter utført av personer ved hjelp av data hentet inn av video eller sensorer festet på kroppen. HUNT er den største helseundersøkelsen i Norge, og har nylig avsluttet den fjerde undersøkelsen, hvor totalt 38 756 personer har deltatt og hatt to sensorer festet på kroppen som har registrert aktivitetsdata i tre akser. HAR systemer krever ofte at alle sensorer er operative og festet til kroppen til en hver tid. På dette grunnlaget viser systemene svakheter ved at det oppstår mye feilklassifiseringer på grunn av uforutsette hendelser, som at sensoren går tom for strøm, montert i feil retning, posisjon eller tatt av under aktivitest registreringen. For å gjøre HAR systemer mer robuste mot dette problemet, forsker denne masteren på bruken av en ny type ensemble classifier, der en meta classifier klassifiserer hvilke sensorer som registrerer gyldig data og eliminerer ugyldig data, før den dynamisk endrer hvilken LSTM-RNN aktivitets klassifiserings modell den gyldige dataen blir sendt til. Den utviklede meta classifieren er trent på ett nytt datasett, ”Sensor no-wear time”, som består av data som ikke er samlet inn under kontrollerte omgivelser, og oppnår en nøyaktighet på 97.2%. Den viser lovende resultater ved å komme med gyldige bidrag til forskning innen folkehelse siden flere dager med feilklassifisering kan bli unngått. Forskningen gjort i denne masteren viser at individuelle klassifiserings modeller for lår og rygg sliter med å klassifisere statiske aktiviteter som sitting og ligging. Modellen for begge sensorene kombinert oppnår en nøyaktighet på 85.1% sammenlignet opp mot det eksisterende systemet som oppnår 76.5%, er derfor det beste alternativet for aktivitets klassifisering, ettersom den klarer å differensiere mellom de statiske aktivitetene. Lagring av aktivitets klassifieserings resultetene med filformatet Feather gir de minste filstørrelsene, og gir en reduksjon fra 2.5 GB til 941 KB per deltager med en enkel komprimerings algoritme. Dette resulterer i en total reduksjon på 99.96%, da nødvendig lagringsplass går fra 96.89 TB til 0.036469396 TB for alle deltagere i HUNT4.

Human activity recognition (HAR) is a field of study that aims to recognize activities from data acquired by video or wearable sensors. The biggest health study in Norway, HUNT, has recently ended it’s fourth study where 38 756 participants have recorded activity data while wearing three-axis accelerometer on their thigh and back. HAR systems often require all sensors to be operative and attached to the participant at all times, and shows weaknesses when performing activity recognition, as a lot of misclassifications occur due to sensors lying still after being detached from the subject’s body during activity recording. To make HAR systems more robust against this issue, this thesis researches on a new type of ensemble classifier where a meta classifier predicts sensor no-wear time, eliminates faulty sensor streams and dynamically adjust the LSTM-RNN sensor position specific classification models used, depending on the data available. The developed meta classifier is trained on a new ”Sensor No-Wear Time” dataset that consists of real-world data, and is able to predict sensor no-wear time with 97.2% accuracy and shows promising results towards making more valid contributions towards public health research, as it eliminates up to several days of misclassifications where sensors have been detached. Research done in this thesis shows that individual models for thigh and back are struggling to classify certain static activities. A model for both sensors combined is therefore the best option for activity classification as it achieves an accuracy of 85.1% compared to the existing HAR system’s 76.5%, and outperforms individual models when classifying static activities. Storing classification results for all participants in HUNT requires huge amounts of storage space, and Feather is proving to be the file format that is best suited for storing activity classification results, as the result file size for each participant is reduced from 2.5 GB to 941 KB with a new compression algorithm. This results in a total reduction of 99.96%, as necessary storage space is reduced from 96.89 TB to 0.036469396 TB for all HUNT4 participants.