| dc.description.abstract | Medisinsk ultralyd er et effektivt verktøy for å hente ut data fra menneskekroppens indre og praktiseres ofte i kirurgien for å vurdere hjertefunksjon. Perioperativ hjerteovervåking er viktig for diagnostikk tidlig i forløpet, og for å redusere kardiovaskulære komplikasjoner og hjertesvikt.
Normalt blir ultralydbilder evaluert av erfarne kardiologer på en manuell og kvalitativ måte basert på kliniske observasjoner. Denne prosessen er tidskrevende og krever kardiologens fokus. Automatisk og kvantitativ evaluering av hjertefunksjon er tidsbesparende, og kan resultere i mer tilgjengelig hjerteovervåking. En slik vurdering eliminerer intraobserver- og interobserver-variabilitet, og kan gi evaluering av ultralydbildene i sanntid. Følgelig gir automatiserte metoder mer konsekvente målinger, noe som er verdifullt for overvåkingsformål. Automatiserte metoder vil ikke erstatte nåværende kliniske tilnærminger, men kan forbedre klinisk praksis ved å gi tilleggsinformasjon til kardiologene. Ekkokardiografiske undersøkelser utføres konsekvent med bestemte morfofysiologiske fremstillinger gitt ved spesifikke vinklinger av proben, noe som resulterer i standardiserte snitt av hjertet. Klassifisering av standardiserte hjertesnitt er gunstig for å forbedre automatisk overvåking av hjertet og for å gi resultater som kan sammenlignes med kliniske observasjoner. I tillegg muliggjør klassifiseringen av snitt estimering av regionale hjerteparametere.
Den omfattende utviklingen innen kunstig intelligens de siste årene har resultert i økt gjennomførbarhet av komplekse oppgaver, spesielt innen bildebehandling. Vellykket implementering av teknikker innen dyp læring på medisinsk bildebehandling har vist seg å være av høy verdi, noe som underbygger potensialet til
teknologien på medisinske applikasjoner.
Denne artikkelen presenterer et studie av et robust og ikke-skadelig system for automatisk funksjonell overvåking av hjertet ved tredimensjonal transesophageal echocardiography (TEE) og transthoracic echocardiography (TTE) B-mode ultralyd-opptak av venstre ventrikkel. Den robuste funksjonelle parameteren kalt mitral annular plane systolic excursion (MAPSE) er en parameter som kjennetegner global og regional venstre ventrikkelfunksjon, og det er det valgte fokusområdet i denne studien. MAPSE estimeres automatisk, og resultatene evalueres mot kliniske referanser gitt av St. Olavs hospital, Universitetssykehuset i Trondheim. Regionale MAPSE-verdier estimeres ved automatisk klassifisering av apical twochamber (A2C)-, apical four-chamber (A4C)- og apical long axis (APLAX) hjertesnitt, mens globale MAPSE-verdier beregnes som gjennomsnittet av standardiserte snitt av hjertet.
Den implementerte løsningen dekomponerer 3D TEE og TTE ultralyddata til et sett med 2D-plan ved estimering av hjertets langeakse kombinert med tredimensjonale romlige affine transformasjoner. Et forhåndsdesignet og forhåndsimplementert 2D convolutional neural network (CNN) for deteksjon av landemerker på mitralklaffen brukes til å forutsi koordinatene. Koordinatene interpoleres for å konstruere en kontinuerlig representasjon av mitralklaffen, og for å avvise avvik gitt av det nevrale nettverket. Etterbehandling utføres for å få estimater av MAPSE parameteren for gitte hjertesykluser. Mitralklaffen visualiseres også i 3D, som gir muligheten til å evaluere deformasjoner av klaffen. Hjerteovervåking ved MAPSE estimering har potensiale til å gi en objektiv og nøyaktig vurdering av hjertefunksjonalitet under hjerteintervensjoner.
Tre CNN’er for klassifisering av A2C-, A4C- og APLAX hjertesnitt er også implementert, og evaluert mot hverandre. Settet med 2D-plan dekomponert fra ultralydvolumene brukes som input til klassifiseringsmodellene. Ved å klassifisere bilder som tilsvarer de tre standardiserte hjertesnittene, brukes de tilknyttede koordinatene på mitralklaffen til å estimere regionale MAPSE parameterverdier.
CNN-modellen for klassifisering av hjertesnitt var trent på totalt 74 ultralydopptak, noe som resulterte i 325 440 2D ultralydbilder. Klassifisering av snitt på TTE data inkluderte 25 ultralydopptak, og genererte totalt 243 360 2D-bilder. Modellen klassifiserte hjertesnitt med en vinkelavstand på 10.2 grader på TEE data, og 4.75
grader på TTE data, i forhold til de annoterte snittene. Klassifiseringsmodellen produserte noen falske positive og falske negativer, men det var tilsynelatende ikke en systemfeil som påvirker den regionale MAPSE- estimeringen negativt. Resultatene er sannsynligvis av klinisk verdi.
CNN-modellen for deteksjon av landemerker på TEE data var trent på totalt 13 181 2D ultralydbilder, og modellen som detekterer landemerker på TTE data ble trent på 56 784 ultralydbilder. Gjennomsnittlig deteksjons-feil til det nevrale nettverket på TEE-opptak var 3, 2±3, 5 mm i forhold til de annoterte landemerkene. Tilsvarende var den gjennomsnittlige gjennkjenningsfeilen for modellen på TTE data 8, 8 ± 5, 5 mm. Detektoren produserte enkelte avvik, men det var tilsynelatende ingen systematiske feildeteksjoner som direkte påvirket estimeringen av
MAPSE-parameteren negativt.
Den gjennomsnittlige forskjellen på globale MAPSE-verdier estimert av den presenterte metoden var 0, 19±0, 80 mm, sammenlignet med klinisk målte verdier. Resultatene er presumptivt av klinisk verdi. Gjennomsnittlig forskjell på MAPSE estimeringene var 0, 83 ± 0, 67 mm for anterior A2C snitt, 0, 81 ± 0, 78 mm for inferior A2C snitt, −0, 10 ± 1, 47 mm for anterolateral A4C snitt, 0, 95 ± 0, 99 mm for inferoseptal A4C snitt, 3, 88 ± 0.59 mm for anteroseptal APLAX snitt, og −1, 24 ± 1, 36 mm for inferoseptal APLAX snitt. | |
| dc.description.abstract | Ultrasound imaging is an effective instrument for extracting data from the human body’s interior and is extensively practiced to assess heart function in internal medicine and prior to surgery. Perioperative cardiac monitoring is vital to obtain early detection of disease and reduce cardiovascular complications and heart failure.
Traditionally, experienced cardiologists evaluate ultrasound imaging manually and qualitatively based on clinical observations. This process is time demanding and requires the cardiologist’s focus. Automatic and quantitative evaluation of cardiac function is time-saving and can result in increased accessibility of cardiac monitoring. Such an assessment eliminates intraobserver- and interobserver variability and can produce near real-time evaluation of the ultrasound imagery. Consequently, automated methods provide more consistent measurements, which is valuable for monitoring purposes. Automated methods will not be replacing current clinical approaches but augmenting clinical practice by providing additional information to the cardiologists. Echocardiographic examinations are consistently performed with definite morphophysiological representations provided by specific probe postures, resulting in standard views of the heart. Classification of standardized cardiac views is thus beneficial to improve automated monitoring of the heart and produce results comparable to clinical observations. Additionally, cardiac view classification facilitates the estimation of regional cardiac parameters.
The extensive development in the field of artificial intelligence through recent years has increased the feasibility of addressing complex problems, especially in the area of image processing tasks. Successful implementation of deep learning techniques on medical imaging is proven to be of high value, substantiating the potential of the technology in medical applications.
This thesis presents a study on the development of a robust system for automatic functional monitoring of the heart by three-dimensional transesophageal echocardiography (TEE) and transthoracic echocardiography (TTE) B-mode ultrasound recordings of the left ventricle. The robust functional parameter named mitral annular plane systolic excursion (MAPSE) is a parameter that characterizes global left ventricular function, and it is the chosen focus area of this study. MAPSE is automatically estimated, and the results are evaluated against clinical measures provided by The University Hospital of St. Olav, Trondheim. Regional MAPSE values are estimated by automatic extraction of apical two-chamber (A2C)-, apical four-chamber (A4C)- and apical long axis (APLAX) cardiac views from 3D ultrasound data, whereas global MAPSE values are computed with the mean of the respective views.
The implemented pipeline decomposes the 3D TEE and TTE ultrasound data to a set of 2D planes by estimation of the long axis of the heart combined with 3D spatial affine transformations. An existing 2D convolutional neural network (CNN) for detection of mitral annulus landmarks is used to predict the annulus coordinates. The coordinates are interpolated to construct a continuous 3D representation of the mitral annulus and to reject outliers from the output of the CNN. Post-processing is performed to obtain estimates of the MAPSE parameters for a given cardiac cycle. The mitral annulus is also visualized with 3D rendering, which gives the possibility to evaluate deformations of the mitral valve. Cardiac monitoring by MAPSE estimation has the potential to give an objective and accurate assessment of heart functionality during cardiac interventions.
Three convolutional neural network’s for classification of A2C-, A4C- and APLAX cardiac views are implemented and evaluated against each other. The set of 2D planes decomposed from the ultrasound volumes are used as input to the classification models. By classifying images corresponding to the three standardized cardiac planes, the associated mitral annulus coordinates are used to estimate regional MAPSE parameter values.
The CNN model for cardiac view classification on TEE data was trained on a total of 74 ultrasound recordings, resulting in 325 440 2D ultrasound images. The cardiac view classification on TTE data included 25 ultrasound recordings, generating a total of 243 360 2D images. The model estimated the cardiac views with an angular distance of 10.2 degrees on TEE data and 4.75 degrees on TTE data, relative to the annotated views. The classification model produced some false positives and false negatives, but there did not appear to be a systemic error affecting the regional MAPSE estimation negatively. The results are likely of clinical value.
The CNN model for landmark predictions on TEE data was trained on a total of 13 181 2D ultrasound images, and the model predicting landmarks on TTE data was trained on 56 784 2D ultrasound images. The mean detection error of the CNN on TEE recordings was 3.2 ± 3.5 mm relative to the annotated landmarks. Similarly, the mean detection error of the model trained on TTE data was 8.8±5.5 mm. The landmark detector produced some outliers, but there did not appear to be a systemic error affecting the MAPSE estimation negatively.
The mean difference of the global MAPSE estimations by the proposed method was 0.19 ± 0.80 mm, when compared against clinically obtained measures. The results are likely of clinical value. The mean difference of the MAPSE estimations was 0.83±0.67 mm for anterior A2C views, 0.81±0.78 mm for inferior A2C views,
−0.10 ± 1.47 mm for anterolateral A4C views, 0.95 ± 0.99 mm for inferoseptal A4C views, 3.88 ± 0.59 mm for anteroseptal APLAX views, and −1.24 ± 1.36 mm for inferoseptal APLAX views. | |