Tissue Deformation Estimation With Deep Learning on Ultrasound Data

Abstract

Overvåking av pasienter som opereres er avgjørende for å sikre at hjertet opprettholder ønsket funksjonalitet og at akutt nyresvikt ikke oppstår. Per i dag gjennomføres den perioperative vurderingen manuelt ved klinisk observasjon og overvåking av vitale tegn. Helautomatisk overvåking av hjertefunksjon, og muligheten for ikke-invasive målinger av nyren, kan senke risikoen for komplikasjoner og redusere intraobserver variabiliteten.

I løpet av de siste årene har dyp læring revolusjonert utførelsen av komplekse oppgaver som bildesegmentering og objektdeteksjon, og har også vært vellykket for medisinske applikasjoner. Denne oppgaven tar sikte på å bidra til helautomatisk monitorering basert på ultralydopptak, ved å undersøke muligheten for å spore gjenkjennbare punkter i nyrene og myokardium i hjertet med en dyp læringsmodell. Ved å bruke en bilde-til-bilde forflytningsestimering, kan punktene i vevet spores. Forflytningene er estimert av et konvolusjonelt nevralt nettverk, inspirert av tidligere arbeid innen bilderegistrering. Nettverket er trent ikke-veiledet (eng: unsupervised) og returnerer et lavtoppløselig forflytningsfelt. Deretter interpoleres feltet til et høyoppløselig felt som brukes for å finne forflytningsvektoren for hver piksel i bildene. I tillegg til det nevrale nettverket, brukes også Advanced Normalization Tools (ANTs) til å estimere forflytningsvektorene. Basert på posisjonen til punktene i basalsegmentene i hjertet, estimeres longitudinal strain. Disse estimerte verdiene sammenlignes med referanseverdier funnet av en ekkokardiograf.

Resultatene viser at dyp læring gjør det mulig å estimere posisjonene til gjenkjennbare punkter i de fleste tilfeller, og at denne metoden estimerer raskere enn klassiske bilderegistreringsmetoder som ANTs. Estimatene fra ANTs er nærmere referanseverdiene på filtrerte ultralydsekvenser, enn for ufiltrerte.

Monitoring of patients undergoing surgery is essential for ensuring that the cardiac function restores the desired functionality and that no acute kidney failure occurs. As of today, the perioperative assessment is conducted manually by clinical observation and observing vital signs. Fully automatic monitoring of cardiac function, and the possibility of non-invasive measurement of the kidney, can reduce the risk of complications and decrease the intra-observer variability.

In recent years, deep learning has revolutionized solving complex tasks like image segmentation and object detection, and have been successful for medical applications. This thesis aims to contribute towards fully automatic monitoring, based on ultrasound recordings, by investigating the feasibility of tracking landmarks on the kidney and the myocardium in the heart with a deep learning model. By using a frame-to-frame displacement estimation, points in the tissue can be tracked. The displacements are estimated by a convolutional neural network (CNN), inspired by previous work in the field of image registration. The CNN is trained unsupervised and returns a low-resolution displacement field. By using cubic B-spline interpolation, the field is upsampled and can be used to track each pixel's motion from one frame to the next. In addition to the CNN, a state-of-the-art image registration method, Advanced Normalization Tools (ANTs), is used to estimate the tracking points. Based on the position of the points in the basal segments in the heart, the strain is estimated. The estimated strain is compared to reference values obtained by an echocardiographer.

The results show that deep learning is feasible to estimate the positions of the tracking points in most cases, and this method estimates faster than classic image registration methods such as ANTs. Estimations from ANTs are closer to the reference values on filtered ultrasound sequences than for those unfiltered.