Time Series Movement Data represented as 2D image: Prediction of CP with Pretrained autoencoder
Abstract
Denne masteroppgaven kartlegger hvordan tidsseriedata i form av koordinater kan representeres som bilder som både kan forstås av ikke-teknologiske klinikere og av en dyplæringsarkitektur, mer spesifikt en autoencoder. Autoenkodere er kjent for å være gode til å oppfatte egenskaper ved inputdata, en egenskap som kommer godt med når fidgety bevegelser fra spedbarn skal gjenkjennes. Fidgety bevegelser er aldersbestemte bevegelsesmønstre, og fravær av disse er en sterk indikasjon for CP. Bevegelsesdataen er generert ved hjelp av en CIMA-Pose tracker som ble brukt på de originale videoene av spedbarna.
Visjonen til dette prosjektet er å bidra til at InMotion prosjektet ved St. Olavs Hospital i Trondheim klarer å utvikle en automatisk datamaskinbasert CP prediksjon. Vårt hovedbidrag fokuserer på å belyse de relevante dataegenskapene som 2D bilder, og implementere en autoencoder for CP klassifisering.
Funn gjort i løpet av prosessen inkluderer evaluering og innsikt om den foreslåtte datarepresentasjonen, samt en diskusjon og forslag til videre arbeid. Erfaringer knyttet til dyplæringsmetoden indikerer at andre maskinlæringsalgoritmer bør undersøkes nærmere.
Masteroppgaven konkluderer med at den foreslåtte datarepresentasjonsmetoden ikke er ideell for en autoencoder, før InMotion prosjektet får anbefalinger for videre arbeid i prosessen med å utvikle en automatisk CP prediksjon slik at en tidlig og pålitelig CP diagnose kan gis. We look at how time series coordinate movement data can be represented as images which have the ability to be understood by both a non-technological clinician and a deep learning architecture, more specific an autoencoder. Autoencoders are known as good feature extractors, a beneficial quality in order to recognise fidgety movement patterns made by infants. Fidgety movements are age-specific movements, and absence of these are strongly related to cerebral palsy. Movement data is previously extracted using a version of Human Pose Estimation called CIMA-Pose on the original video recordings of the infants.
The vision of this project is to make a contribution for the InMotion project at St. Olav's University Hospital, which aims to develop an automatic computer-based CP predictor. Our main contributions focus on highlighting the relevant data features as 2D images and implementing an autoencoder for cerebral palsy classification.
Findings made during the process include evaluation and insight about the proposed data representation together with a discussion and recommendations for future work. Autoencoder related findings cannot exclude the autoencoder as a feature extractor but indicates that more research is required.
This master thesis concludes that the proposed data representation is not ideal, before recommending future work for the InMotion project, in order for them to develop an automatic CP prediction model that can give an early and reliable CP diagnosis.