Validation of the NTNU HAR-model on complex physical activity and detecting ballgame periods from the model predictions

Abstract

Bakgrunn: NTNU Human Activity Recognition (HAR) modellen utnytter toppmoderne maskinlæring teknikker til å predikere hvilken type daglig fysisk aktivitet (FA) deltakeren utfører med 94% nøyaktighet. Det er behov for validering av modellen på komplekse aktivitetsmønstre som ballspill, og bruk av NTNU HAR-modell prediksjonene til å oppdage ballspill. Mål: Målet med denne studien er å bruke håndball som et paradigme for ballspill til å validere NTNU HAR-modellen på komplekse aktivitetsmønstre. Vi utforsker også muligheten til å bruke NTNU HAR-modell beregningene til å predikere ballspill basert på hvor mange aktivitetsskifter (PAC) vi har innenfor en definert tidsramme. Metode: Seks unge (16år) menn, utstyrt med to tre-akslet akselerometre, utførte to håndball treninger over to dager sammen med deres håndballag. Laget ble filmet fra alle hjørner i sportshallen. Akselerometrene ble brukt mellom treningsøktene. Ved å bruke forhåndsbestemte FA definisjoner ble den observerte fysiske aktivitetstypen (f.eks. gå, løpe, stå) annotert bilde for bilde fra videoen for å brukes til fasit under validering av NTNU HAR-modellen. Prediksjonene fra NTNU HAR-modellen ble grupperte i ulike vinduer og den kalkulerte PAC ble brukt til å oppdage ballspillperioder. Resultat: Den generelle nøyaktigheten til NTNU HAR-modellen var 77% med sensitivitet mellom 67% og 84%, og presisjon mellom 63% og 96% i de fire hovedaktivitetstypene (sitte, stå, gå, løpe). IRR resultatene hadde Cohen`s Kappa verdier på 0.92 og 0.95. Modellens evne til å predikere ballspill viste en nøyaktighet og spesifikasjon på over 90% med høy oppløsning (7min), men med lavere sensitivitet og nøyaktighet på under 70%. Ved å senke oppløsningen (30-40min) økte alle parameterne opp til 96% for nøyaktighet og spesifikasjon, og over 80% for sensitivitet og presisjon. Konklusjon: NTNU HAR-modellen i nåværende tilstand gir oss ikke et gyldig verktøy til å predikere aktivitetstyper under ballspill. Det er derfor anbefalt å bruke en ulik HAR-modell metode eller en endret klassifiseringsmetode for NTNU HAR-modellen hvis målet er å predikere aktivitetstyper under ballspill. Basert på resultatene fra denne avhandlingen, kan vi bruke PAC kalkulert fra prediksjoner generert av NTNU HAR-modellen, til å oppdage perioder med ballspill. Det er likevel nødvendig å teste denne metoden på en større testgruppe, inkludert andre moderate til vigorøse FA, før det brukes i framtidige studier.

Background: The NTNU Human Activity Recognition (HAR) model utilize state of the art machine learning techniques to predict the type of daily physical activity (PA) the participant is doing with 94% accuracy. Validation on other complex activity patterns like ballgames and novel analysis methods to detect ballgames from the NTNU HAR-model predictions are in demand. Study Aim: The aim of this study is to use handball as a paradigm to assess the validity of the NTNU HAR-model as a classifier during ballgames. We also explore the possibility of using the NTNU HAR-model predictions to detect periods of ballgames based on how many times the predicted activity changes (PAC) within a specific timeframe. Methods: Six adolescent males equipped with two tri-axial accelerometers carried out two handball training sessions over two days with their team while being filmed from all corners of the sports hall. Accelerometers were kept on between training sessions. Using predefined PA definitions, the observed physical activity type (e.g. walking, running, standing) from the video was annotated frame-by-frame to use as a solution in validating the NTNU HAR-model. Inter-rater reliability (IRR) of the video annotation was calculated. The predictions from the NTNU HAR-model were grouped in different windows and the calculated PAC was used to detect ballgame periods. Results: Overall accuracy of the NTNU HAR-model was 77% with sensitivity variating from 67% to 84% and precision variating from 63% to 96% in the four main activity type categories (sitting, standing, walking, running). IRR scores had Cohen’s Kappa values of 0.92 and 0.95. The detecting ballgame model proved to reach an accuracy and specificity of above 90% with high resolution (7min) but with lower sensitivity and precision scores of below 70%. Lowering the resolution (30-40min) increased all parameters with up to 96% accuracy and specificity, with above 80% sensitivity and precision. Conclusion: The NTNU HAR-model in its current state does not provide us with a valid tool to predict activity types during ballgames. It is therefore recommended to use a different HAR-model approach or altered classification method of the NTNU HAR-model if the target is to predict activity types during ballgames. Based on the results from this thesis, we can use PAC calculated from predictions generated by the NTNU HAR-model to detect periods of ballgames. However, this method should be tested on a larger study population including other moderate to vigorous PA before used in future research.