Deep Learning Based Ultrasound Volume Registration for Interventional Applications

Abstract

Med den nylige utviklingen av ny teknologi kan minimalt invasive intervensjoner utføres med like gode utfall sammenlignet med konvensjonell åpen hjertekirurgi. Den økende aksepten for perkutane kateterbaserte intervensjoner har sett nye ekkokardiografiske systemer bli utviklet for å hjelpe og overvåke intervensjonen. Mange intervensjonelle prosedyrer er avhengige av tredimensjonal transøsofagal ekkokardiografi (TØE) i sanntid for observasjon av instrument-manipulering under intervensjonen. Når man bruker fusjonert perioperativ computertomografi (CT) og ultralyd under operasjonen, er det viktig å oppdage og korrigere for probebevegelse for å holde den preoperative informasjonen synkronisert med nåværende ultralydbilde. Automatisk registrering av ultralyd til ultralyd er derfor svært ønskelig for å unngå manuell justering under operasjonen. Denne oppgaven har som mål å bidra til helautomatisert monomodal ultralydbildegistrering av perioperative ekkokardiografiske opptak ved å undersøke muligheten for rask, automatisk bilderegistrering i TØE-bilder ved bruk av ikke-styrte dype læringsmetoder. Det blir foreslått en todelt registreringsmetode, sammensatt av et dypt nevralt nettverk for å gjøre lokal registrering på delvolumer, og en Procrustes-metode som tar prediksjoner fra delvolumene og transformerer dem til en global justering og introduserer en stivhetsbegrensning som blir brukt på hele volumet. Prediksjonene er estimert ved hjelp av konvolusjonelle og lineære lag som er kombinert for å danne et romlig transformasjonsnettverk, inspirert av nylige fremskritt innen bilderegistrering. Nettverket er trent på en ikke-styrt måte, og unngår dermed behovet for sanne justeringer. For å evaluere hele potensialet i registreringsmetoden ble forskjellige preprosesseringsalgoritmer evaluert (bilateral og ikke-lokal middelverdi (ILM) filtrering), sammen med en sammenligning av registrering på sluttdiastolisk og sluttsystolisk bilde. Blandet presisjonstrening (16-bit med 32-bit mastervekter) ble evaluert for å undersøke muligheten for å gjøre trening og prediksjon på volumer av full størrelse.

Modellen ble trent og evaluert på data fra 26 pasienter (23 for trening og validering, 3 for testing). På grunn av den lille mengden datasett som var tilgjengelig, ble fem-fold kryssvalidering utført for å sjekke nettverkets evne til å generalisere til tidligere usette data, med gode resultater. Den mest vellykkede registreringen oppnår en 7,3% økning i normalisert kryss korrelasjon (NKK) sammenlignet med grunnverdi NKK før registrering. Verre registreringsresultater ble observert i volumer med dårlig kvalitet eller store transformasjoner mellom volumene. Sluttsystolisk registrering viste lovende resultater, men resultatene var uavklarte. Resultatene fra preprosessering viste at den avanserte ILM-algoritmen oppnådde minimalt bedre resultater sammenlignet med det enklere bilaterale filteret. Blandet presisjonstrening oppnådde nesten de samme resultatene som full presisjonstrening, med en reduksjon på 45% i minneforbruket. Med det lave minnekravet når blandet presisjon brukes, er trening og prediksjon på større volumer gjennomførbart ved bruk av denne metoden. Som konklusjon er ultralydvolumregistrering ved bruk av denne metoden mulig hvis det arbeides for å samle inn mer data, redusere inferensstiden og forbedre robustheten.

With the recent development of new technology, minimally invasive interventions can be performed with equivalent outcomes compared with conventional sternotomy. The growing acceptance of percutaneous catheter-based interventions have seen new echocardiographic systems be developed to help guide and monitor the intervention. Many interventional procedures rely on real time three-dimensional transesophageal echocardiography (TEE) for monitoring instrument manipulation during the intervention. When using fused perioperative computed tomography (CT) and ultrasound during surgery, it is important to detect and correct for probe movement to keep the preoperative information in sync with the current ultrasound images. Auto-registration of ultrasound to ultrasound is therefore highly desirable to avoid manual realignment during surgery.

This thesis aims to contribute towards fully automated monomodal ultrasound image registration of perioperative echocardiographic recordings by investigating the feasibility of fast, automatic image registration in TEE images using unsupervised deep learning methods. A registration pipeline is proposed, composed of a deep neural network to do local registration on patches, and a Procrustes method that takes the patch predictions and transforms them to a global alignment and introduces a rigidity constraint that is applied to the full volume. The predictions are estimated using convolutional and linear layers that are combined to form a spatial transformer network, inspired by recent advancements in image registration. The network is trained in an unsupervised fashion, and thus avoiding the need for ground truth annotations. To evaluate the full potential of the registration method, different preprocessing algorithms were evaluated (bilateral and non-local mean (NLM) filtering), together with a comparison of registration on end-diastolic and end-systolic frame. Mixed precision training was evaluated to check the feasibility of doing full volume training and prediction.

The model was trained and evaluated on samples from 26 patients (23 for training and validation, 3 for testing). Due to the small amount of datasets available, five-fold cross-validation was performed to check the networks ability to generalize to previously unseen data, with good results. The most successful registration achieves a 7.3% increase in normalized cross correlation (NCC) compared to the baseline NCC prior to registration. Worse registration results were observed in samples with poor quality or large transformations between the volumes. End-systolic registration showed promising results, but the results were inconclusive. The results on preprocessing showed that the advanced NLM algorithm only achieved slightly better results compared to the simpler bilateral filter. Mixed precision training achieved almost the same results as full precision training, at a 45% reduction in memory consumption. With the low memory requirement of mixed precision, training and prediction on larger volumes is feasible using this method. In conclusion, ultrasound volume registration using this method is feasible if efforts are made to gather more data, reduce the inference time and improve robustness.