Graph Convolutional Networks for Predicting Cerebral Palsy in Infants

Abstract

Cerebral parese er den vanligste fysiske funksjonsnedsettelsen blant barn. Det finnes ingen kurativ behandling for tilstanden, men tidlig utredning kan ha stor innvirkning på livskvalitet. In-Motion er et samarbeidsprosjekt mellom Norges teknisk-naturvitenskapelige universitet og St. Olavs Hospital i Trondheim, hvor målet er å utvikle en datamaskinbasert metode for å automatisk predikere cerebral parese fra videoer av spedbarn. Mulige bruksområder til en slik metode inkluderer forbedring av diagnostisk nøyaktighet, beslutningsstøtte og oppdagelse av nye biomarkører for cerebral parese.

Denne oppgaven bygger på arbeidet til In-Motion ved å introdusere et grafkonvolusjonsnettverk, en dyp læring-arkitektur som bruker skjelettdata hentet fra In-Motion-datasettet. Med en kompleks oppgave og et lite datasett, eksperimenterer denne avhandlingen med teknikker for å overkomme denne utfordringen og forbedre prediktiv nøyaktighet.

Med en modell generert fra et nevralt arkitektursøk som utgangspunkt, testes ulike transfer learning-konfigurasjoner, før modellstørrelsen økes gjennom compound skalering. Til slutt opprettes en ensemble-modell fra parametere trent på ulike kryssvalidering-folder.

Den høyest presterende modellen oppnår en AUC på 0.921, og sensitivitet og spesifisitet som er sammenlignbare med kliniske metoder. Etter vår kjennskap er dette den første modellen i litteraturen som oppnår resultater som er sammenlignbare med menneskelig prestasjon på usett data. Oppgaven bidrar også som den første i litteraturen til å undersøke effekten av compound skalering av et grafkonvolusjonsnettverk.

Cerebral palsy is the highest occurring physical disability in childhood. Even though it is incurable, early intervention can have a large impact on quality of life. In-Motion is a collaboration project between the Norwegian University of Science and Technology and St. Olav's Hospital in Trondheim, aiming to create a computer-based method for automatically predicting cerebral palsy from videos of infants. The possible use cases include improving diagnosis accuracy, decision support, and discovering new biomarkers of cerebral palsy.

This thesis builds upon the work of In-Motion by introducing a graph convolutional network, a deep learning architecture that uses skeletal data extracted from the In-Motion dataset. With a complex task and a small dataset, this thesis experiments with techniques for overcoming this challenge and improve predictive performance.

With a baseline model from a neural architecture search as a starting point, various transfer learning configurations are tested before the model size is increased through compound scaling. Finally, an ensemble model is created from the different folds of the training data.

The highest performing model achieves an AUC of 0.921 and sensitivity and specificity comparable to clinical methods. To our knowledge, it is the first model in the literature to achieve results comparable to human performance on unseen data. This thesis also contributes as the first in the literature to evaluate the effect of compound scaling a graph convolutional network.