Affine Alignment of Ultrasound Volumes Using Deep Learning

Abstract

Denne masteroppgaven utforsker mulighetene for dyp læringsbasert bilderegistrering av 3D ultralyd volumer. To modeller for affin transformasjon av et bevegelig bilde og i referanse til et fast bilde blir sammenlignet. Den første modellen er inspirert av affin transformasjon rammeverket foreslått av de Voss et al. (2019). Denne modellen sender hele ultralydbildet direkte gjennom dyp læringsnettverket for å predikere den optimale affin transformasjons matrisen som maksimerer den Normaliserte Krysskorrelasjon (NKK). Den andre modelen foreslått i denne masteroppgaven er inspirert av rammeverket for kartlegging av deformasjon av vev utviklet av Yang et al. (2017). Denne modellen deler det tredimensjonale ultralydbildet opp i flere mindre deler med lik størrelse før disse sendes inn i dyp læringsnettverket. Endringen i NKK mellom det bevegelige bildet og det faste bildet før og etter transformasjonen er brukt til å beregne ytelsen til de to systemene. Resultatet viser at den del-baserte modellen har en forbedring på 0.0044 i NKK etter transformasjon. Den fult bilde-baserte modellen viste ingen forbedring i NKK etter tranformasjon på test bildene selv om NKK under trening og validering viste en forbedring i tråd med den del-baserte modellen.

Datasettet med bilder brukt i dette proskjektet inneholder flere ultralyd opptak av venstre ventrikkel. Hver opptak består av flere ultralydbilder tatt over 3-5 hjerte sykluser. Mellom hvert opptak har tranduser proben blitt litt forskjøvet. Dette gjør at bildene mellom hvert opptak blir forskjøvet i forhold til hverandre, noe som simulerer at tranduser proben beveger seg under operasjon.

Før ultralydbildene kan sendes gjennom dyp læringsnettverket blir bildene filtrert med Gaussisk filtrering og histogram utgjevning. Den Gaussiske filteringen er gjort i et forsøk på å redusere den store mengden støy som er til stede i ultralydbilder. Histogram utjevning er anvendt for å forsterke karakteristiske egenskaper i bildet som kanter, hjørner og lyse områder som korresponderer med vev i hjerteveggen. Resultatene viser at histogram utjevnelse er en nødvendig filtrerings metode for at dyp læringsnettverket skal kunne generalisere og lære å gjenskjenne nøkkelegenskaper og bruke dem til affin transformering. Gaussisk filtrering ikke er nødvendig for læring, men fører til en forbedring av systemet på 66.7%.

Fra kjøretidsanalysen til de to modellene presentert i denne masteroppgaven viser resultatene at den fult bilde-baserte modellen har en raskere hastighet enn den del-baserte modellen. Den gjennomsnittlige kjøretiden den fult-bilde baserte modellen bruker på å generere ett transformert bilde er 891ms, mens den gjennomsnittlige kjøretiden til den del-baserte modellen er på 1012ms. Forskjellen i kjøretid kommer hovedsaklig av variabel og minnehåndteringen assosiert med å dele ett bilde opp i flere mindre biter. Begge modelllene er utviklet med CUDA basert GPU akselerasjon.

This thesis explores the possibilities of deep learning based image registration of 3D ultrasound volumes. Two models for affine transformation of a moving image in reference to a target image is being compared. The first model is inspired by the affine transformation framework proposed by de Voss et al. (2019). This model passes the full ultrasound image directly through a deep learning network to predict the optimal affine transformation matrix that maximizes the Normalized Cross-Correlation (NCC) similarity measure. The second model proposed in this thesis is inspired by the framework for Large Deformation Diffeomorphic Metric Mapping (LDDMM) developed by Yang et al. (2017). This model divides the 3D image into multiple smaller patches of uniform size before passing them through a deep learning network for transformation matrix prediction. The change in NCC between the moving and target image before and after transformation, is being used as a metric for performance of the two models. The results show that the patch based model gives an 0.0044 improved NCC after transformation of the moving image. The full image based model was not able to give any preformed NCC on the test image dataset even though the NCC during training and validation showed an improvement similar to the patch based model.

The image dataset used in the project consists of multiple ultrasound recordings of the left ventricle. Each recording consists of several images take over the course of 3-5 heart cycles. Between recordings, the probe Transesophageal echocardiogram (TEE) transducer probe has been shifted slightly. This gives a misalignment between the different recordings. The purpose of this is to simulate probe movement during a procedure.

Before the ultrasound images are passed through the deep learning network, filtration methods such as Gaussian blur and histogram equalization are applied to the images. The Gaussian blur filtration is done in an effort to reduce the large amount of noise prevalent in ultrasound images. Histogram equalization is applied in order to enhance characteristic features within the image like edges, corners and light patches corresponding to heart wall tissue. The results show that the Histogram equalization is a necessary preprocess in order for the deep learning network to generalize and learn to recognize key features and apply it to affine transformation. The Gaussian blur is not a necessary preprocess for learning, but will improve the difference in NCC after transformation with 66.7%.

From the analysis of the runtime of the two models presented in this thesis, the results show that the full image based model out preforms the patch based model. The average runtime of the full based model per generated image is 891ms, while the average runtime of the patch based model per generated image is 1012ms. The difference in time mainly comes down to the variable and memory handling associated with splitting the full image into multiple patches. Both models where implemented using CUDA based GPU acceleration.