Vis enkel innførsel

dc.contributor.advisorLøvstakken, Lasse
dc.contributor.advisorSmistad, Erik
dc.contributor.authorSteinsland, Erik Nikolai
dc.date.accessioned2021-09-23T18:13:06Z
dc.date.available2021-09-23T18:13:06Z
dc.date.issued2020
dc.identifierno.ntnu:inspera:56990118:8517218
dc.identifier.urihttps://hdl.handle.net/11250/2780960
dc.descriptionFull text not available
dc.description.abstract3D ekkokardiografi har blitt et nyttig verktøy for nøyaktig segmentering og volummåling av venstre ventrikkel, da ultralyd anses som trygt og tilgjengelig sammenlignet med andre medisinske avbildningsmetoder. Manuell sporing av venstre ventrikkel i slike bilder er imidlertid tidkrevende arbeid, og en automatisk segmenteringsmetode er ønskelig. Dyp læring-algoritmer, som konvolusjonelle nevrale nettverk (KNN), har vist lovende resultater angående bildesegmentering. I tidligere arbeid har en spesiell KNN-arkitektur kalt 3D U-nett vist seg å være robust for segmentering av venstre ventrikkel i 3D ekkokardiografi-bilder. Denne oppgaven undersøker om mer avansert bruk av regulariseringsteknikker som dataaugmentering og romlig “dropout”, samt ulike strukturer til 3D U-nettet som antall konvolusjoner og aktiveringsfunksjoner, kan forbedre segmenteringsnøyaktigheten. Vanligvis krever KNN mye treningsdata for å fungere nøyaktig. For medisinske bilder er det sjeldent tilfelle at man har tilgang til et stort datasett av høy kvalitet. For å overvinne dette problemet er 3D U-nett nevrale nettverk forhåndstrent på et syntetisk datasett. Dette syntetiske datasettet ble generert ved ̊a segmentere rådata fra “Challenge on Endocardial Three-dimensional Ultrasound Segmentation”(CETUS) og Helseundersøkelsen i Trøndelag (HUNT), ved å ta i bruk en tidligere publisert metode av Smistad et al. [30]. De forhåndstrente modellene kan deretter finjusteres på et mindre og manuelt merket datasett av høy kvalitet. Videre ble en ny metode for segmentering av venstre ventrikkel i 3D ekkokardiografibilder, kalt 2.5D U-nett-metoden, implementert og testet. Denne metoden bruker flere 2D-segmenteringer av venstre ventrikkel. Disse segmenteringene oppnås ved å dele 3D ekkokardiografibilder rundt sin z-akse til 2D-tverrsnittsbilder, som deretter blir segmentert ved hjelp av et ferdig trent og godt fungerende 2D U-nett. Til slutt er disse segmenteringene “sydd” sammen for å lage en endelig 3D-segmentering av venstre ventrikkel. Det best fungerende 3D U-nett nevrale nettverket var i stand til å oppnå et nøyaktighetsnivå i venstre ventrikkel segmentering innenfor mellom-observatør-variabiliteten, for dice-likhetsindeksen og gjennomsnittlig-overflate-distansen, i ED-tilstand bilder. For bilder i ES-tilstand var dice- likhetsindeksen og gjennomsnittlig-overflate-distansen litt under mellom-observatør-nivå, men betydelig bedre sammenlignet med tidligere arbeid og sammenlignbare metoder. Når det gjel- der Hausdorff-distansen, var 3D-U-nett nevrale nettverket litt dårligere enn mellom-observatør- variabiliteten, men likevel bedre enn sammenlignbare metoder. 2.5D U-nett-metoden viste lovende potensial, men klarte ikke å oppnå en segmenteringsnøyaktighet som er sammenlignbar med 3D U-nett nevrale nettverk. Imidlertid hadde 2.5D-metoden en liten forskjell i dice-likhetsindeksen mellom bilder i ED-tilstand og ES-tilstand, sammenlignet med andre metoder. Flere utfordringer knyttet til denne metoden ble avdekket, og metoden kan potensielt bli forbedret i fremtiden hvis de blir løst. Slutningstid-analyse av 3D-U-nett nevrale nettverk viste at de var i stand til å kjøre i sanntid. Videre viste slutningstid-analyse av det 2D U-nett nevrale nettverket, brukt i 2.5D U-nett- metoden, at 2.5D U-nett-metoden har potensial til å konkurrere med 3D U-nett når det gjelder kjøretid. Dette vil imidlertid avhenge av at før- og etter-prosesseringen i denne metoden blir optimalisert.
dc.description.abstract3D echocardiography has become a useful tool for accurate segmentation and volume measurements of the left ventricle as ultrasound is considered safe and accessible compared to other medical imaging methods. However, manual tracing of the left ventricle in such images is tedious work, and thus an automatic segmentation method is desirable. Deep learning algorithms like convolutional neural networks (CNNs), have shown promising results regarding image segmentation. A special CNN architecture called the 3D U-net has in earlier work proved robust for left ventricle segmentation in 3D echocardiography images. This thesis investigates if more advanced use of regularization techniques like data augmentations and spatial dropout, can improve the segmentation accuracy of the left ventricle in 3D echocardiography images using a 3D U-net. For the same reason, different structures of the 3D U-net, like the number of convolutions and type of activation function, are looked into. Usually, CNNs require a lot of training data to perform accurately. For medical images, access to a large and high quality dataset is rarely the case. To overcome this challenge, the 3D U-net neural networks were pretrained on a synthetic dataset. This synthetic dataset was generated by segmenting raw 3D echocardiography data from the “Challenge on Endocardial Three- dimensional Ultrasound Segmentation” (CETUS) and the Trøndelag Health Study (HUNT), using a previously published method by Smistad et al. [30]. The pretrained 3D U-net neural networks were then fine-tuned using a smaller and manually annotated dataset of high quality. Further, a new method for left ventricle segmentation in 3D echocardiography images, called the 2.5D U-net method, was implemented and tested. This method uses multiple 2D segmentations of the left ventricle. These segmentations are obtained by slicing 3D echocardiography images around its z-axis into 2D cross-section images, which then are segmented using a fully- trained and well-working 2D U-net. Finally, these segmentations are “stitched” together to create a final 3D segmentation of the left ventricle. The best performing 3D U-net neural network was able to achieve a left ventricle segmentation accuracy level within the inter-observer variability for the dice similarity index and the mean surface distance, for ED-state images. For ES-state images the dice similarity index- and the mean surface distance scores were a bit below inter-observer scores, but significantly better compared to earlier work and comparable methods. In terms of the Hausdorff distance, the 3D U-net neural network was slightly worse than inter-observer variability, yet better than comparable methods. The 2.5D U-net method showed promising potential, but was unable to achieve a segmentation accuracy comparable to the 3D U-net neural networks. However, the 2.5D method had a smaller difference in the dice similarly index scores between the ED-state and the ES-state images, compared to other methods. The method can potentially be improved in the future if the discovered challenges associated with this method are solved. Inference time analysis of the 3D U-nets neural networks showed that they were able to run in real-time. Further, inference time analysis of the 2D U-net neural network, used in the 2.5D U-net method, showed that the 2.5D U-net method has the potential to compete with the 3D U-nets in terms of run-time. However, this will depend on the pre- and post-processing pipeline of this method being optimized.
dc.language
dc.publisherNTNU
dc.title3D Segmentation of the Left Ventricle in Echocardiography Based on Deep Learning
dc.typeMaster thesis


Tilhørende fil(er)

FilerStørrelseFormatVis

Denne innførselen finnes i følgende samling(er)

Vis enkel innførsel