Rekonstruksjon av ultralyd blodhastighetsfelter basert på Dyp Læring

Abstract

Ny forskning viser at avvik fra normal blodstrøm i venstre ventrikkel kan være et tidlig tegn på hjertesykdom. Nøyaktig screening av blodstrøm i venstre ventrikkel kan hjelpe leger å gi passende behandling til pasienter før sykdommen utvikler seg, og potensielt redusere prevalensen av kardiovaskulær sykdom, noe vi ser øker i store deler av verden. Helt siden 1970-tallet har ultralydteknologi vært et hjelpsomt verktøy for kardiologer for bedre visualisering og måling av blodstrøm i kroppen, en noninvasiv teknologi som er både enkel å bruke og billig å produsere. Vektor Flow Imaging (VFI) er en av de nylige framstegene innen kardiologisk ultralyd som gir en ny lovende måte visualisere blodstrøm på som et hastighetsvektorfelt. VFI-målinger er likevel utsatt for støy og informasjonstap. Metoden har problemer med å fange opp alle de viktige egenskapene ved blodstrømmen, spesielt den laterale komponenten, siden måleutstyret virker best for radielle målinger. Dermed trengs gode regularisering- og rekonstruksjonsteknikker for å avdekke det fulle potensialet til VFI. Vi foreslår et dypt nevralt konvolusjonsnett (CNN) for å gjøre regularisering og rekonstruksjon av blodhastighetsmålinger. Nettverket er trent på et datasett som inneholder snitt fra et simulert 4D hastighetsfelt av en neonatal venstre ventrikkel. Simuleringen bruker Blood Speckle Tracking på data fra Fast Ultrasound Simulation in K-Space (FUSK), med et numerisk fluiddynamikkfantom som fasit. To modeller blir presentert; én trent på statiske felt ved bruk av 2D-konvolusjoner (2D U-Net), og én trent på en tidsserie av feltbilder ved bruk av 3D-konvolusjoner (3D U-Net). Modellene blir først trent og evaluert på det simulerte datasettet, og deretter trent og evaluert på et mindre datasett av ekte VFI-data av venstre ventrikkel fra pediatriske pasienter, basert på transfer learning. Begge modellene har fremragende ytelse på den simulerte dataen, der begge klarer å gi et detaljerte bilder av strømningsdynamikken, som går tapt ved bruk av en standardmetode. Når modellene blir evaluert på ekte data er 3D U-Net bedre enn 2D U-Net på å rekonstruere tapt data, noe som viser at tidsavhengig strømningsinformasjon er fordelaktig for læring fra spredt data. 3D U-Net viser seg å være bedre enn standardmetoden ettersom nettverket gir en høyere feltoppløsning og er dermed bedre på å gjengi viktige egenskaper i strømningsmønsteret. Modellen sliter derimot med å rekonstruere den laterale komponenten, sannsynligvis pga. en kombinasjon av utilstrekkelig diversitet i treningsdataen, samt begrensninger i modellens tapsfunksjon. Til slutt blir et generativt motstående nettverk (GAN) skapt for å undersøke om introduksjonen av en implisitt tapsfuksjon kan forbedre ytelsen. Når det blir evaluert på simulert data blir det vist at GAN kan generere realistisk utseende felter. Derimot er feltene avvikende fra sannheten. Dermed trenger GAN videre utvikling for å oppnå en skikkelig vurdering av de mulige fordelene av å bruke en slik modell.

Recent research suggests deviations from normal flow patterns in the left ventricle can be early signs of heart disease. Accurate screenings of left ventricular blood flow can aid doctors provide the correct treatment for patients before the disease develops, potentially reducing prevalence of cardiovascular disease, which we see is increasing in most of the world. Ever since the 1970s ultrasound technology has been a helpful tool for cardiologists to better visualize and measure the blood flow inside the body, a noninvasive technology which is both easy to use and cheap to produce. Vector Flow Imaging (VFI) is one of the recent advancements in cardiac ultrasound, providing a new promising way of visualizing the blood flow as a velocity vector field. However, VFI measurements are prone to noise and struggle with capturing all the important features in the flow, especially the lateral component, as measuring equipment works best for capturing the radial flow. Hence good regularization and reconstruction techniques are essential for uncovering the full potential of VFI. We propose a deep convolutional neural network (CNN) to perform regularization and reconstruction of time series of ultrasound blood velocity field measurements. The CNN is trained on a data set containing slices of a simulated 4D velocity field of a neonate left ventricle. The simulation applies Blood Speckle Tracking to the Fast Ultrasound Simulation in K-Space (FUSK), with a Computational Fluid Dynamics (CFD) phantom as the target labels. Two model types both based on the U-Net architecture are proposed; one trained on static fields using 2D convolutions (2D U-Net) and one trained on a time series of field frames using 3D convolutions (3D U-Net). The models are initially trained and tested on the simulated data set, and then trained and tested on a small data set of real VFI data of the left ventricle from pediatric patients using a transfer learning approach. Both models show great performance on the simulated data, being able to capture a higher order of detail in the flow dynamics which are lost in the standard reconstruction procedure. When evaluated on the real data, the 3D U-Net outperforms the 2D U-Net in reconstructing missing data, showing that temporal flow information is beneficial for learning from sparse data. The 3D U-Net shows to be an improvement from the standard approach, giving a higher field resolution and hence better capturing important features in the flow. However, the model struggles with reconstructing the lateral component, probably due to a combination of insufficient diversity in the training data and limitations in the loss function to capture perceptually important information. Finally, a Generative Adversarial Network (GAN) is created to see if the introduction of an implicit loss metric can improve the performance. When tested on the simulated data it is shown that the GAN can create realistic looking fields. However, they are far from the ground truth. Hence the GAN needs further development to get a proper assessment of the possible gains of using the GAN approach.