Human Pose Estimation for VR Exergaming

Abstract

Hjerneslag er en av de største årsakene til funksjonshemming hos voksne i verden. Rehabilitering er avgjørende for at overlevende av slag skal klare å komme seg tilbake til et normalt liv. Denne rehabiliteringsprosessen kan være både lang og kostbar, og derfor brukes hjemmerehabilitering som et kostnadsbesparende virkemiddel. For å gjøre denne rehabiliteringsprossessen mer engasjerende og motiverende er treningsspill et populært alternativ. Treningsspill er spill som bruker elementer fra spillverdenen for å gjøre trening mer attraktivt. For å sikre effektiviteten av rehabiliteringsprosessen er det viktig at treningen gjøres riktig og bevisst. For å forsikre seg om dette må man spore bevegelsene til pasientene, og spillet bør gi tilbakemeldinger til pasienten basert på de sporede bevegelsene. Denne sporingen har tidligere blitt gjort ved hjelp av spesialutstyr som kan være vanskelig å anskaffe, det kan være kostbart og ikke minst kreve ekspertise for å sette opp.

Nylige framskritt innen kunstig intelligens har gjort det mulig å bruke vanlige kameraer for å spore bevegegelser, uten noe behov for spesialutstyr. Denne oppgaven tar sikte på å identifisere om tilgjengelige systemer for positurestimering er egnet for å kontrollere treningsspill, samt som et virkemiddel for å gi tilbakemelding på bevegelsene pasientene utfører. For å finne ut dette identifiseres og sammenlignes toppmoderne positurestimeringssystemer. Deretter trenes tre maskinlæringsmodeller på KIMORE-datasettet for å kunne gi tilbakemeldinger på bevegelser. Til slutt kombineres disse sammen i et sanntidssystem hvor det vises at det toppmoderne positurestimeringssystemet YOLOv8 er velegnet for bruk i treningsspill for rehabilitering av slag.

Stroke is one of the leading causes of adult disability in the world. Rehabilitation is essential for stroke survivors to return to their normal lives. This rehabilitation process can be both long and expensive, therefore home-rehabilitation is often utilized as a cost saving measure. To make the repetitive nature of home-rehabilitation more immersive and engaging the use of exergames is a popular alternative. Exergames are computer games which use gamification elements to exercise more engaging. While playing these exergames, correct and deliberate movements are important to ensure the efficacy of the rehabilitation process. To monitor this, the movements of the player needs to be tracked, and the game should give some feedback based on those movements. This tracking of movements have previously been done using special equipment, which can be expensive, difficult to acquire and require expertise to set up.

Recent advances in machine learning have enabled the use of normal cameras to track movements, without the requirement of any specialized equipment. This thesis aims to identify whether available human pose estimation systems are suitable for use as input for controlling, and giving feedback in an exergame. First, the state-of-the-art of available pose estimation systems are identified and compared against each other. Then, three machine learning models are trained on the KIMORE dataset, to be able to infer whether the movements of the player is performed correctly. Lastly, the two parts are combined together in a real-time system, to show that the state-of-the-art pose estimation system YOLOv8 is suitable for use in exergaming for rehabilitation.