Skeleton Based Cerebral Palsy Diagnosis using Deep Learning and Attention

Abstract

Dyp læring har i de siste årene oppnådd gode resultater innen forskningsfelt som datasyn og menneskelig aktivitets gjenkjenning. Innen medisin har disse gjennombruddene åpnet nye dører for hvordan problemer blir løst og den resulterende kvaliteten på de nye løsningene. Bruk av datamaskinbaserte metoder for General Movement Assessment har allerede vist seg å legge til rette for tidlig deteksjon av cerebral parese, noe som muliggjør tidligere behandling som kan redusere omfanget av påkjenninger og lidelser det berørte barnet kan oppleve under oppveksten og resten av livet.

Vi foreslår en metode for å predikere risikoen et spebarn har for å utvikle CP basert på bevegelsesinformasjon hentet ut fra videoopptak av en Human Pose Estimation modell. Ved å benytte oss av attention baserte teknikker innen dyp læring som Multi-head Attention, er vi i stand til å visualisere hvilke deler av videooptaket som anses som viktigst når det kommet til genereringen av prediksjonen.

Den foreslåtte basismodellen er i stand til å oppnå en F-score på 0,7206, noe som antyder at den er i stand til å lære mønstre i bevegelsesdata relatert til CP. Eksperimenter viser at modellen har problemer med å konvergere og er ustabil, noe som gir uttrykk for behov for videre arbeid på modellen før den kan betraktes som en vesentlig del av et datamaskinbasert system for tidlig CP-deteksjon.

In recent years, Deep Learning has achieved great results in fields such as Computer Vision and Human Activity Recognition. Within the medical domain, these advances have opened new doors for how problems are addressed and the resulting quality of the new solutions. The use of Computer-based methods for General Movement Assessment has already been proven to assist in early detection of cerebral palsy, enabling earlier treatment that can reduce the effects the disorder has on the affected infant.

We propose a method for predicting an infants risk of developing CP based on movement information extracted from raw video recordings by a Human Pose Estimation model. Taking advantage of attention based techniques such as Multi-head Attention we are able to visualize what parts of a recording are deemed most important when generating a prediction.

The proposed base model is able to achieve a F-measure score of 0.7206, suggesting that it is able to learn patterns in the movement data related to CP. Experiments show that the model have issues converging and is unstable, expressing the need for more research before it could be considered an essential part of a computer-based system for early CP detection.