A virtual reality pose estimation exercise game for post-stroke upper-limb motor function rehabilitation

Abstract

Slag er en ledende årsak til ervervet funksjonshemning i vokse på verdensbasis. Det nåværende etterspørselen etter rehabilitering følge av slag overgår mengden mengden behandlingstilbud, og denne ressursmangelen er spådd økt i den kommende fremtiden. Dette henger sammen med at forventet levealder øker globalt. Treningsspill basert på virtuell virkelighet teknologi (VR) kan tilby treningsbetingelser som kan gi positive utslag for pasienter i slagrehabilitering. Bruken av VR i slagrehabilitering har fått relativt solid fotfeste i helsevesenet. Treningsspill krever en metode for å fange spilleren sine bevegelser. Ofte utnyttes metoder som krever spesielle systemer som Kinect eller markørbaserte metoder for å fange spiller sine bevegelser. Positur estimering (human pose estimation) er en datasyn-basert metode for å predikere bevegelsene til en person ved bruk av et kamera. I denne oppgaven ble et nytt konsept for et rehabiliteringsspill, som bruker positur-estimering for bevegelsesfangst, designet og implementert. En proof-of-concept prototype ble utviklet som tok i bruk positur-estimeringsmodellen BlazePose. En brukervennlighetstest ble utført på 11 testdeltakere uten motoriske funksjonsnedsettelser. Den standariserte system brukbarhetsskalaen SUS ble brukt for brukertesten. Prototypen var i stand til å oppnå en akseptabel brukervennlighetsrate på 83,2. Testdeltakere identifiserte problemer ved kontroll av den virtuelle avataren, disse bør utforskes videre. Det er mye potensiale for positur-estimeringsmodeller for bruk i rehabilitering, og deres anvendelse på dette feltet bør undersøkes videre

Stroke is a leading causes of acquired disability in adults worldwide. Currently, the demand for post-stroke rehabilitation outweighs the amount of stroke care providers, and this resource shortage is only predicted to increase as life expectancy globally continues to rise. Virtual reality exercise games can provide conditions to induce neuroplasticity, a key aspect of stroke rehabilitation. The use of virtual reality interventions for post-stroke rehabilitation have gained significant footing in the healthcare field. These exercise games require a method of motion capture. Often, motion capture in virtual reality systems is achieved with methods that require additional motion capture hardware like the Kinect or marker-based solutions. An alternative is 3D human pose estimation models. They offer a method of motion capture that does not require any additional motion capture hardware, but can be used with only a digital camera and a computer. In this thesis, a novel concept for a rehabilitation game, using pose estimation for motion capture, was designed and implemented. A proof-of-concept prototype, utilizing the 2D/ 3D human pose estimation model BlazePose was developed. A usability test was conducted, on 11 test participants without motor impairments, using the standardized system usability scale. The prototype was able to garner an acceptable usability score of 83,2. Test participants identified issues regarding the control of their virtual reality avatar, the origin of which should be explored further. There is much potential for pose estimation models in the context of rehabilitation, and their application in this field should be researched further