Age Estimation from B-mode Echocardiography with 3D Convolutional Neural Networks

Abstract

Ekkokardiografi er en ikke-invasiv og sikker metode som bruker ultralyd for avbildning av hjertet. Som på mange andre felt utfører metoder for dyp læring, spesifikt \textit{Convolutional neural networks} (CNNs), oppgaver som tidligere kun ble oppnådd av mennesker. I forhold til flere andre felt er det vanskelig å lære fra ekkokardiografi på grunn av mindre datasett, høyere støynivåer og kompleksiteten til det menneskelige hjerte. Metodikker for trening av CNNs i ekkokardiografi er derfor vanligvis basert på resultater fra andre felt der mer data er tilgjengelig. Effekten er at domenespesifikke metoder som kan forbedre CNN-ytelsen ikke er utforsket i detalj.

Avhandlingen er delt i to deler. Først blir det brukt en metode for automatisk kvalitetssikring av 2D ekkokardiografi. Datakvaliteten måles for hver hjertesyklus ved bruk av CNNs trent for kvantifisering i ekkokardiografi. Kvalitetsmålene brukes til å forkaste data som anslås å ha dårlig kvalitet.

Modeller er opplært til å estimere alderen til mennesker i den vanlige befolkningen. Fordelen med dette er at alder er tilgjengelig for nesten alle ekkokardiografistudier, og virkningen av aldring i hjertet kan minne om flere hjertesykdommer. Dette betyr at metoder for aldersestimering kan evalueres på all tilgjengelige ekkokardiografidata, og at kunnskapen kan overføres til andre tilnærminger for automatisert kvantifisering og sykdomsdeteksjon. Hjertesykluser som passerer den automatiske kvalitetssikringen brukes til aldersestimering. Flere metoder blir forsøkt, inkludert pretraining, optical flow, egne inputkanaler med koordinater og trening med data fra forskjellige standardiserte probeposisjoner samtidig.

Tre datasett brukes, ett som inneholder over tusen pasienter fra en vanlig befolkning og to datasett som hver inneholder rundt to hundre pasienter med dysfunksjon i venstre ventrikkel og koronar hjertesykdom.

Visuell inspeksjon antyder at utbredelsen av data med lav kvalitet er høyere blant den forkastede dataen, men objektiv evaluering er vanskelig på grunn av manglende fasit for datakvalitet. Viktigere er det at standardiserte data blir generert som inneholder hjertesykluser av todimensjonal ekkokardiografi uten å kreve menneskelig inngrep. Aldersestimeringsmetodikkene oppnår i beste fall en gjennomsnittlig absolutt feil på 4,7 år per pasient i den vanlige befolkningen. Til sammenligning oppnår lineær regresjon med flere kliniske mål en gjennomsnittlig absolutt feil på 7.2 år. Modellens nøyaktighet er avhengig av fordelingen av aldre i treningsdataen, noe som resulterer i dårligere ytelse for datasett hvor aldre er annerledes fordelt. En modell som bruker optical flow er mest konsistent på alle datasett. Inspeksjon av den optical flow-modellen viser at fremtredende områder i syklusene er regioner som er kjent for å bli påvirket av aldring. Det er liten eller ingen observert forskjell mellom estimatene for friske og syke pasienter, noe som tyder på at lærte egenskaper ikke påvirkes av dysfunksjon i venstre ventrikkel og koronar hjertesykdom.

Echocardiography is a noninvasive and safe imaging modality which uses ultrasound for assessment of the heart. As in many other fields, deep learning methods and convolutional neural networks (CNNs) in particular are being applied to tasks previously only performed by people. In comparison to many other fields, learning from echocardiography is difficult due to smaller data sets, higher noise levels and the complexity of the human heart. Methodologies for training CNNs in echocardiography are therefore typically based on results from other fields where more data is available. The effect is that domain-specific methodologies which might improve CNN performance have not been explored in depth.

The thesis is divided in two parts. First, a pipeline for automatic quality assurance of two-dimensional echocardiography is applied. Data quality is measured for each heart cycle using the output of CNNs trained for quantification in echocardiography. Samples with estimated poor quality are discarded.

Models are trained to predict the age from two-dimensional echocardiography. The benefit of this is that age is available for nearly all echocardiography studies, and the effects of aging on the heart is similar to several heart diseases. This means that methodologies for age estimation can be evaluated on almost all available echocardiography data, and that the acquired knowledge can be transferred to other approaches for automated quantification and disease detection. Heart cycles passing the automatic quality assurance are used. Several methodologies are attempted, including pretraining, optical flow, coordinate input channels and training with data from different standardized probe positions simultaneously.

Three studies are considered, one containing over a thousand patients from a normal population, and two data sets each containing more than two hundred patients with left ventricular dysfunction and coronary artery disease.

Visual inspection suggests that the prevalence of low quality data is higher among the discarded data, although objectively evaluating the automatic quality assurance step is difficult due to no available labels of data quality. More importantly, standardized data is generated containing heart cycles without requiring human intervention. The age estimation methodologies achieve at best a mean absolute error of 4.7 years per patient in the normal population. For comparison, linear regression using several clinical indices achieves a mean absolute error of 7.2 years. The accuracy of the models are dependent on the distribution of ages in the training data, resulting in worse performance for data sets where ages are differently distributed. A model using optical flow input data performs most consistent on all data sets. Inspection of the optical flow model reveals that salient regions in the input cycles are known to be affected by aging. There are little or no observed difference between the estimates of healthy and diseased patients, suggesting that learned features are not affected by left ventricular dysfunction or coronary artery disease.