Deep Learning for Deformation Analysis in Echocardiography

Abstract

Hjartesjukdom er ei av dei leiande dødsårsakene i verda. Tidleg deteksjon av risikofaktorar er avgjerande for effektiv og nøyaktig behandling. I dag blir undersøkingar av pasientar oftast utført ved hjelp av hjarte-ultralyd, ein noninvasiv prosedyre som produserer eit bilde av hjartet. Analysen av bildet krev mange år med trening og erfaring, men sjølv då er ikkje oppgåva triviell. Automatisering av delar av analyseprosessen kan hjelpe klinikarane til å ta betre slutningar, samtidig som det mindre erfarne personell kan utføre undersøkinga. Denne oppgåva foreslår eit djupt, konvolusjonelt nevralt nettverk som kan utføre automatisk segmentering av mitralklaffen frå ekkokardiografiske bilde. Tanken er at desse segmenteringane kan hjelpe klinikarane med å oppdage uregelmessigheiter i klaffen sin oppførsel. To variantar basert på U-Net-arkitekturen er foreslått; ein trent ved å bruke segmenteringar av klaffeapparatet (U-Net OV-C) og ein trent med tillegg av segmenteringar av venstre ventrikkel, myokard og venstre atrium, i tillegg til klaffeapparatet (U-Net Auto-R). Segmenteringane av klaffen er manuelt laga av klinikarar og kamersegmenteringane er automatisk generert av eit nevralt nettverk trent på førehand. Modellane er trent med eit datasett som inneheld 824 ekkokardiografiske bilde, og er samansett av stort sett sjuke pasientar med forskjellige gradar av klaffedeformasjon. To komponentar frå dei predikerte segmenteringane er henta ut, midtpunktet til for annulus segmenteringane og ein estimering av klaffevinklane. Nøyaktigheita til modellane målast med ‘DICE score’. U-Net OV-C-modellen produserer segmenteringar med ei nøyaktigheit på høvesvis 0.691, 0.696, 0.423 og 0.548 for det bakre seglet, det fremre seglet, bakre annulus og fremre annulus. Nøyaktigheita til U-Net Auto-R modellen er 0.693, 0.700, 0.398 og 0.438 gitt i same rekkefølge. Midtpunktet til annulus prediksjonane blir samanlikna med midtpunktet til fasitsegmenteringane. Segmenteringane produsert av U-Net OV-C-nettverket, resulterer i ein medianfeil 3.39 mm for bakre annulus, og 2.73 mm for fremre annulus. U-Net Auto-R produserer ein medianfeil på høvesvis 3.78 mm og 2.97 mm for bakre og fremre annulus. Den same prosedyren blir gjort for vinkelestimering, der U-Net OV-C har ein medianfeil på 6.73 og 10.58 grader for bakre og fremre segl. U-Net Auto-R har ein medianfeil på 7.43 og 10.30 grader. I kva grad desse komponentane er pålitelege nok til å bli brukt i kliniske oppgåver blir ikkje utforska i denne oppgåva. Dette er noko som treng ytterlegare undersøking i framtidig arbeid. Dei samla resultanta indikerer at konteksttilsetning ikkje har noko openberre fordelar når det gjeld ytinga til U-Net-modellen. Resultata viser tvert imot at det i nokre tilfelle forverrar ytinga. Kunstig tilsetting av meir data gjennom augmentering viser derimot at kontekst ikkje skader ytinga merkbart viss modellen får nok data under trening. Dermed treng ein meir data for å kunne fastslå moglege gevinstar av konteksttilsetning for modellen.

Heart disease is one of the leading causes of death worldwide. Early detection of risk factors is crucial for effective and accurate treatment. Today, screenings of patients are most commonly performed using cardiac ultrasound, a non-invasive procedure that creates an image of the heart. The analysis of the output image requires years of training and experience to master, and even then, the task is not trivial. Automation of parts of this assessment can help the analysis process and enable less experienced personnel to perform the procedure. This thesis proposes a deep convolutional neural network tasked to automatically segment out the mitral valve in echocardiographic images. The idea is that automatic segmentations can help clinicians detect irregularities in the behavior of the valve. Two variations based on the U-Net architecture are proposed; one trained using segmentations of the valve apparatus (U-Net OV-C) and one trained with the addition of segmentations of the left ventricle, myocardium and left atrium in addition to the valve (U-Net Auto-R). Clinicians manually create the valve segmentations, and the chamber segmentations are auto-generated by a pre-trained neural network. The models are trained using a data set of 824 echocardiographic images composed of mostly sick patients with differing degrees of valve deformation. Two features from the predicted segmentations are extracted, the center annulus points and an estimation of the leaflet angles. The accuracy of the models is measured using the DICE score. The U-Net OV-C model produces segmentations with an accuracy of 0.691, 0.696, 0.423, and 0.548 for the posterior leaflet, anterior leaflet, posterior annulus, and anterior annulus, respectively. The accuracy of the U-Net Auto-R model given in the same order is $0.693$, $0.700$, $0.398$, and $0.438$. The annulus center points are extracted from the segmentations and compared to the center point of the ground truth segmentations. The segmentations produced by the U-Net OV-C network result in a median error 3.39 mm for the posterior annulus and 2.73 mm for the anterior annulus. The U-Net Auto-R produces a median error of 3.78 mm and 2.97 mm for the posterior and anterior annulus, respectively. The same procedure is performed for the angle estimation, where the U-Net OV-C has a median error of 6.73 and 10.58 degrees for the posterior and anterior leaflet angles. The U-Net Auto-R has a median error of 7.43 and 10.30 degrees. Whether or not these feature extractions are reliable enough to be used in a clinical setting is not explored in this thesis and needs further investigation in future work. The overall results indicate that the inclusion of context does not have any obvious advantages in terms of performance for the U-Net model. On the contrary, it shows that it in some cases worsens the performance. However, artificial addition of more data through augmentation indicates that context does not hurt the performance noticeably if enough data is provided during training. Thus, more data is required to properly assess the possible gains of context addition for the model.