Validation of the NTNU-HAR model for assessment of physical activity in typically developing children and adolescents, and in children and adolescents with cerebral palsy.

Abstract

Bakgrunn: NTNU-HAR er en maskinlæringsbasert aktivitetsgjenkjenningsmodell som har blitt utviklet til å gjenkjenne og predikere forskjellige typer av fysisk aktivitet (FA) hos friske voksne. Validering i andre grupper av befolkningen er nødvendig. Dette inkluderer barn og personer med fysiske funksjonshemninger. Mål: Å evaluere validiteten til NTNU-HAR til å detektere og klassifisere typer av FA hos både normalt utviklede barn (TD) og hos barn med cerebral parese (CP). Et annet mål var å undersøke om validiteten til modellen endres med alder og lengde av aktivitetsperiodene. Metode: 67 TD barn og 16 barn med CP ble utstyrt med to triaksiale akselerometre og et kamera montert på brystet. To protokoller ble utført: Én semistrukturert protokoll hvor forskjellige aktiviteter varte i korte tidsperioder (<30 sekunder), og én protokoll bestående av aktiviteter med lengre varighet (>3 minutter). Annotering av videoopptak ble brukt som gullstandard for å evaluere validiteten til NTNU-HAR til å klassifisere typer av FA. Fire grupper ble testet, basert på alder og protokoll: Ungdom (lang økt), barn (kort økt), barn (lang økt) og CP (kort + lang). Overordnet nøyaktighet ble regnet ut for hver gruppe. Sensitivitet, spesifisitet og positiv prediktiv verdi (PPV) ble regnet ut for hver FA-type. Resultat: Overordnet nøyaktighet var 94.9% for ungdom (lang økt), 90.9% for barn (lang økt), 67.5% for barn (kort økt) og 73.3% for CP. Sensitiviteten var høy (≥90%) for kategoriene gå, løpe, stå, sitte og sykle(sittende). Flest feilklassifiseringer var på grunn av at shuffling-kategorien ble feilklassifisert som stå og gå. Sensitivitet og PPV sank for alle kategorier i den korte protokollen. Det samme var tilfelle i CP gruppen. Konklusjon: NTNU-HAR er et gyldig verktøy for å klassifisere FA-typer hos TD barn og ungdom hvis aktivitetene er utøvd over lengre tidsperioder. Lengden på aktivitetsperiodene påvirker prestasjonen til NTNU-HAR i å predikere FA-typer, da nøyaktigheten synker hvis lengden på aktivitetsperiodene er av kort varighet. Dette indikerer en dårligere validitet for modellen under fri lek. Det var ingen effekt av alder på prestasjonen til modellen. For barn og ungdom med CP var resultatene lovende, men forskjell i protokoll både sammenlignet med TD gruppen og mellom deltakerne i CP gruppen gjør det vanskelig å trekke konklusjoner på hvorvidt en ny maskinlæringsmodell må utvikles kun for denne gruppen, eller om den nåværende kun trenger å bli trent på korte/komplekse fysiske aktiviteter.

Background: The NTNU-HAR is a machine learning based human activity recognition model that has been developed to recognize and predict different types of physical activity (PA) in healthy adults. Validation in other population groups is needed, including children and adolescents and people with physical disabilities. Study Aim: To assess the validity of the NTNU-HAR in detecting and classifying types of PA in both typically developing (TD) children and adolescents and also children and adolescents with cerebral palsy (CP). Another aim was to assess if the performance of the model changes with age and length of activity bouts. Methods: 67 TD children and adolescents and 16 children with CP were equipped with two triaxial accelerometers and a chest mounted camera. Two protocols were conducted: One semi-structured protocol with different activities lasting for short periods of time (<30 seconds), and one protocol consisting of activities of longer duration (>3minutes). Annotation of video recordings were used as gold standard to assess the validation of the NTNU-HAR in classifying types of PA. Four groups were tested, based on age and protocol: Adolescence (long bout), children (short bout), children (long bout) and CP (Short + long). Overall accuracy were calculated for each group. Sensitivity, specificity, and positive predictive values (PPV) were calculated for each PA type. Results: Overall accuracy was 94.9 % for adolescents (long bout), 90.9% for children (long bout), 67.5% for children (short bout), and 73.3% for CP. In the long bout protocol, sensitivity was high (>90%) for walking, running, standing, sitting, and cycling (sit). Most misclassifications were due to shuffling being misclassified as standing and walking. Sensitivity and PPV decreased for all categories in the short bout protocol. This was also the case for the CP group. Conclusion: The NTNU-HAR is a valid tool for classifying PA types in TD children and adolescents if activities are performed over longer periods of time. The length of the activity periods affects the performance of the HAR-model in predicting PA-types, with accuracy decreasing if the length of the accuracy bouts are short. This might indicate a poorer validity of the model during free play. There was no effect of age on the performance of the model. For children and adolescents with CP, promising results were found, but differences in protocol makes it hard to draw conclusions whether a new ML-model needs to be developed exclusively for this group, or only trained on short/complex physical activities.