• norsk
    • English
  • English 
    • norsk
    • English
  • Login
View Item 
  •   Home
  • Fakultet for informasjonsteknologi og elektroteknikk (IE)
  • Institutt for datateknologi og informatikk
  • View Item
  •   Home
  • Fakultet for informasjonsteknologi og elektroteknikk (IE)
  • Institutt for datateknologi og informatikk
  • View Item
JavaScript is disabled for your browser. Some features of this site may not work without it.

Skeleton Based Cerebral Palsy Diagnosis using Deep Learning and Attention

Vold, Martin
Master thesis
Thumbnail
View/Open
no.ntnu:inspera:57320302:23218879.pdf (32.86Mb)
URI
https://hdl.handle.net/11250/2777909
Date
2020
Metadata
Show full item record
Collections
  • Institutt for datateknologi og informatikk [6337]
Abstract
Dyp læring har i de siste årene oppnådd gode resultater innen forskningsfelt som datasyn og menneskelig aktivitets gjenkjenning. Innen medisin har disse gjennombruddene åpnet nye dører for hvordan problemer blir løst og den resulterende kvaliteten på de nye løsningene. Bruk av datamaskinbaserte metoder for General Movement Assessment har allerede vist seg å legge til rette for tidlig deteksjon av cerebral parese, noe som muliggjør tidligere behandling som kan redusere omfanget av påkjenninger og lidelser det berørte barnet kan oppleve under oppveksten og resten av livet.

Vi foreslår en metode for å predikere risikoen et spebarn har for å utvikle CP basert på bevegelsesinformasjon hentet ut fra videoopptak av en Human Pose Estimation modell. Ved å benytte oss av attention baserte teknikker innen dyp læring som Multi-head Attention, er vi i stand til å visualisere hvilke deler av videooptaket som anses som viktigst når det kommet til genereringen av prediksjonen.

Den foreslåtte basismodellen er i stand til å oppnå en F-score på 0,7206, noe som antyder at den er i stand til å lære mønstre i bevegelsesdata relatert til CP. Eksperimenter viser at modellen har problemer med å konvergere og er ustabil, noe som gir uttrykk for behov for videre arbeid på modellen før den kan betraktes som en vesentlig del av et datamaskinbasert system for tidlig CP-deteksjon.
 
In recent years, Deep Learning has achieved great results in fields such as Computer Vision and Human Activity Recognition. Within the medical domain, these advances have opened new doors for how problems are addressed and the resulting quality of the new solutions. The use of Computer-based methods for General Movement Assessment has already been proven to assist in early detection of cerebral palsy, enabling earlier treatment that can reduce the effects the disorder has on the affected infant.

We propose a method for predicting an infants risk of developing CP based on movement information extracted from raw video recordings by a Human Pose Estimation model. Taking advantage of attention based techniques such as Multi-head Attention we are able to visualize what parts of a recording are deemed most important when generating a prediction.

The proposed base model is able to achieve a F-measure score of 0.7206, suggesting that it is able to learn patterns in the movement data related to CP. Experiments show that the model have issues converging and is unstable, expressing the need for more research before it could be considered an essential part of a computer-based system for early CP detection.
 
Publisher
NTNU

Contact Us | Send Feedback

Privacy policy
DSpace software copyright © 2002-2019  DuraSpace

Service from  Unit
 

 

Browse

ArchiveCommunities & CollectionsBy Issue DateAuthorsTitlesSubjectsDocument TypesJournalsThis CollectionBy Issue DateAuthorsTitlesSubjectsDocument TypesJournals

My Account

Login

Statistics

View Usage Statistics

Contact Us | Send Feedback

Privacy policy
DSpace software copyright © 2002-2019  DuraSpace

Service from  Unit