Human Pose Estimation Assisted Fitness Technique Evaluation System

Abstract

Vektløfting er en populær og effektiv form for styrketrening, men denne metoden kommer også med høy risiko for skade blant nye løftere. Hver person har ulike utfordringer når de skal forbedre løfte-teknikken sin og det er viktig at de får tilbakemeldinger som reflekterer dette.

Med stor utvikling innenfor human pose estimation de siste årene, har denne avhandlingen som mål å undersøke hvordan denne teknologien kan bli brukt for å gi verdifull tilbakemelding til brukeren om deres vektløfting teknikk. Dette er en oppgave som innebærer å detektere spesefikke feil ved teknikken som har en tett sammenheng med risiko for skade.

Denne avhandlingen presenterer en ny analytisk tilnerming via et utviklet tilbakemeldingssystem der øvelse og vinkel for filming blir automatisk detektert, før de tilhørende teknikkaspektene blir testet for. Dynamic time warping blir brukt for å gjenkjenne øvelsen, mens vektorkalkulasjoner blir utført på human pose estimation dataen for å teste for de ulike problemene relatert til løfteteknikk.

Vi demonstrerer at denne metoden er effektiv for å detektere teknikk-realterte feil for flere brukere, øvelser og teknikkaspekter. Resultatet viste gode tall for personer plassert rett fremfor kameraet, mens brukere med siden sin mot kameraet viste seg å være vanskligere å analysere. Resultatet indikerer at human pose estimation har blitt nøyaktig nok til å produsere gode resultater for å detektere feil ved løfteteknikk, selv om et større datasett muligens er nødvendig for å bekrefte disse funnene. Det er uansett klart at dette er et interessant bruksområdet for teknologien som vil gagne mye av videre undersøkelse.

Weight lifting is an effective and popular way to gain the benefits from strength training, but comes at a high risk of injuries for newcomers. Every lifter has their own set of challenges when improving their technique and their feedback needs to reflect this.

With the recent developments in human pose estimation this thesis aims at examine how this technology can be used as a tool to give valuable feedback on weight lifting technique. This task involves the detection of specific technique related issues with high association with risk of injury for common exercises.

This thesis propose an analytical approach through developing a feedback system where the exercise and filming perspective are automatically detected, before the associated technique aspects are tested for. Dynamic time warping is used for the action recognition process, while vector calculations are performed on the human pose estimation data to test for issues related to weight lifting technique. Also, an overall overview of selected existing human pose estimation systems is presented and evaluated.

We demonstrate that this method is effective in detecting technique related issues for multiple users, exercises and technique issues. The result showed considerable scores for subjects facing the camera, while subject with their side to the camera was challenging to analyze. The results indicate that human pose estimation is maturing and produces viable results when analyzing weight lifting technique, although a bigger dataset may be needed to confirm these findings. Granting that this is an interesting application that undoubtedly would gain from further research.