Augmented Reality Application for Teaching Transthoracic Echocardiography

Abstract

Ekkokardiografi er en noninvasiv og verdifull diagnostisk prosedyre for undersøkelse av hjerte. Prosedyren er i dag operatøravhengig, og riktig utførsel forutsetter en solid fagkompetanse og rikelig med praktisk erfaring. Videre så har teknologiske fremskritt fra de siste tiårene ytterlig komplisert prosedyrens fremgangsmåte. Dette har ført til at det ekkokardiografiske utdannelsesløpet har mottatt økt oppmerksomhet; studentene sitt behov for veiledet praktisk trening er spesielt utfordrende å imøtekomme.

Med utgangspunkt i den presenterte problemstilling har dette prosjektet utviklet og undersøkt nytteverdien av en læringsapplikasjon for transhorakalt ekkokardiografi. Applikasjonen tar i bruk utvidet virkelighet, generert gjennom et par smartbriller – Microsoft Hololens. Brillene utvider virkelighetsbildet til brukeren gjennom å plassere digital objekter inn i vedkommens omgivelser, som skaper en interaktiv ekkokardiografisk scene. Ultralydundersøkelser utføres ved skanne et virtuelt hjerte med en modellprobe. Hjerte ligger plassert inni en lokalisert fysisk mannekeng, og ultralydbilder lages ved bruk av forhåndslagret ultralyddata. Videre så innehar applikasjonen en rekke utviklede veiledningsprogrammer. Programmene sikter på å bistå brukeren i å (1) lære konvensjonell probebruk, og (2) oppnå standard ekkokardiografiske bilder av hjertet.

Avslutningsvis gjennomgikk applikasjon en brukertest for å evaluere dens nyttegrad, samt verdien til de spesifikke veiledningsprogrammene. Fra testen ble det konstatert av deltakerne at utvidet virkelighet skaper et spennende læringsmiljø. Videre, så bedømte deltakerne den visuelle opplevelsen som gunstig for å effektiv forstå samholdet mellom proben og hjerte for generering av ultralydbilder. De visuelle veiledningsprogrammene ble oppfattet som brukervennlige og hensiktsmessige for å oppnå referanseplan. Derimot, så er applikasjonen sin nytteverdi tilknyttet læring av konvensjonelle skanningsmanøver og uveiledet gjenskaping av standard ekkokardiografiske bilder uklar, og bør derfor kartlegges i fremtidig arbeid.

Echocardiography is a non-invasive and invaluable diagnostic procedure for assessing the heart, but the procedure is operator-dependent. Mastering the essentials of echocardiography encapsulates an extensive body of knowledge and abundant amounts of practical training. With recent enhancements of the procedure, new layers of complexities are added, further imposing stronger demands on the operator. Consequently, refinements to the educational pathway of echocardiography have gained increased awareness over the last decade. In particular, students lack sufficient practical training in a supervised environment due to limited resources.

In this project, an Augmented Reality application is proposed for facilitating learning of transthoracic echocardiography. The system employs a pair of Microsoft Hololens smartglasses, transferring the user into an interactive echocardiographic simulator. With the Microsoft Hololens, the users operate in an immersive augmented environment where digital objects are blended into their perceived reality. By utilizing a visual tracking system, ultrasound acquisitions are made available in the simulator by maneuvering a dummy probe on a manikin. Within the manikin lies a superimposed heart model comprising prerecorded ultrasound data. Furthermore, a set of guidance systems are integrated into the simulator, facilitating the users’ probe handlings and providing assistance for obtaining standard imaging planes.

From a conducted user test, participants considered the Augmented Reality teaching environment as playful and motivating for the purpose at hand. Furthermore, the perceived environment was beneficial for efficiently achieving an intuition of the spatial connection between cardiac anatomy and transducer placements. The guidance tools were deemed straightforward to utilize, and all participants swiftly obtained a set of reference views in the simulator. However, the application’s utility for teaching conventional probe management and reproducing views in an unguided environment remains uncertain and should be reviewed in future work.