Supervised Deep Learning for Perioperative Cardiovascular Monitoring

Abstract

På grunn av høy risiko for kardiovaskulære komplikasjoner under hjertekirurgi, overvåker leger pasientens hjerte i den perioperative fasen. Ekkokardiografi er mye brukt til å vurdere hjertefunksjon og hemodynamikk. Overvåking av hjertefunksjon og hemodynamikk består vanligvis av målinger av blodtrykk, hjertefrekvens og oksygenmetning. Vurdering av ultralydbildene er en kvalitativ visuell inspeksjon utført av eksperter. Følgelig har evalueringen en tendens til å ha inter- og intravariabilitet. I tillegg er det for tidkrevende for en kardiolog eller anestesilege å evaluere ultralyd regelmessig. Derfor er automatiserte tiltak ønskelig. Transøsofagal ekkokardiografi har vist seg nyttig for hjertekirurgi, men det er mangel på programvare for automatisk estimering av kvantitative hjertefunksjonsmål, for eksempel myokardiell strain (deformasjon av hjerteveggen).

Denne oppgaven har som mål å spore punkter i hjertet for å automatisk estimere myokardiell strain, som beskriver regional hjertefunksjon. En veiledet (eng: supervised) dyp læringsmetode, kalt TransformerTrack, ble tilpasset videosekvenser, tatt med transøsofagal ekkokardiografi, for å spore punkter i hjertestrukturen. TransformerTrack er designet for å utnytte den tidsmessige informasjonen blant videobildene for nøyaktig sporing. Metoden er enda ikke brukt til medisinske oppgaver.

TransformerTrack produserte lovende sporingsresultater på sporing av punkter modellen ble trent på. Modellen predikerte posisjonen til punktene i hjertet med en gjennomsnittlig avstand på 5.565 +- 4.763 piksler mellom prediksjon- og referansepunktet, på et bilde med størrelse på ca. 350x500 piksler. Modellen viste en dårligere evne til å spore punkter den ikke ble trent på, og videre arbeid ble foreslått for å forbedre dette.

Arbeidet i denne oppgaven er en del av et større forskningsprosjekt som utvikler et automatisert overvåkingsverktøy av hjertefunksjoner. Det ble gjennomført en As-Is-analyse av dagens arbeidsprosesser i den perioperative fasen basert på intervjuer med leger og et litteratursøk. I tillegg ble fordeler og ulemper ved å bruke maskinlæring til medisinske oppgaver undersøkt. En To-Be prosesskartlegging ble utformet for å bidra til implementasjon av det automatiserte overvåkingsverktøyet i operasjonsrommet. I tillegg bidro kartleggingen til å vurdere relevansen av de vanlige problemene knyttet til medisinsk maskinlæring. Kartleggingene viste at et automatisert overvåkingsverktøy vil påvirke kommunikasjonen mellom leger, arbeidsflyten og pasientsikkerheten. I utviklingen av verktøyet blir det en avveining mellom falske positive og falske negative utfall basert på pasientsikkerhet og sykehusets ressurser.

Due to a high risk of cardiovascular complications for patients undergoing cardiac surgery, the physicians monitor the heart in the perioperative phase. Echocardiography is widely used to assess cardiac function and hemodynamics. Monitoring of cardiac function and hemodynamics usually consists of measurements of blood pressure, heart rate, and arterial oxygen saturation. The assessment of the ultrasound images is a qualitative visual inspection performed by experts. Consequently, the evaluation tends to have inter-and intravariability. Additionally, it is too time-consuming for a cardiologist or anaesthesiologist to evaluate ultrasound regularly. Hence, automated measures are beneficial. Transesophageal echocardiography has proven helpful for cardiac surgery purposes, but there is a lack of software for automatic estimation of quantitative cardiac function measures, such as longitudinal strain.

This paper aims to track points in the heart to contribute to automatic longitudinal strain estimation, describing regional cardiac function. A supervised deep learning method called TransformerTrack was adapted to transesophageal echocardiography video frames to track points in the cardiac structure. TransformerTrack is designed to utilize the temporal information among video frames for accurate tracking and is currently not adapted to the medical environment.

A quantitative assessment showed that the deep learning method produced promising tracking results with a mean distance of 5.565 +- 4.73 pixels between the predicted- and reference landmark, on a frame of approximately 350x500 pixels. The model showed a poor ability to generalize, and further work was suggested for mitigation.

The work in this thesis is part of a larger research project that develops an automated monitoring tool for cardiac functions. An As-Is analysis of the current work processes in the perioperative phase was conducted based on interviews with doctors and a literature review. Additionally, common advantages and disadvantages of medical machine learning were investigated. A To-Be process mapping was proposed to contribute to implementing the automated monitoring tool in existing work processes and examining the common problems' relevance. The mappings revealed that the tool would affect the communication between physicians, the workflow, and patient safety. In the development of the tool, there will be a trade-off between false positive and false negative outputs based on patient safety and the hospital's resources.