Implementing Volume Rendering Optimizations for Real-Time Performance Directly on Microsoft's HoloLens 2

Abstract

Det er ofte nødvendig å visualisere tredimensjonale anatomiske strukturer i medisinsk bildediagnostikk. En vanlig algoritme for dette er volumgjengivelse. 3D-strukturen blir vanligvis gjengitt på en vanlig 2D-skjerm. Dette begrenser dybdefølelsen. Utvidet virkelighet (AR) kan bli brukt for å øke dybdefølelsen ved å "sette ut" det digitale bildet i virkeligheten (sett gjennom en skjerm). Volumgjengivelse er en beregningsintensiv algoritme, og for applikasjoner i utvidet virkelighet blir disse beregningene vanligvis gjort av en ekstern PC.. Dette fører til en viss forsinkelse på grunn av kommunikasjon mellom AR-brillene og den eksterne maskinen, i tillegg til å gi en mer komplisert arkitektur på grunn av denne kommunikasjonen. Dette prosjektet har som mål om å implementere volumgjengivelse direkte på Microsoft sine AR-briller: HoloLens 2. For å oppnå en ytelse som er tilstrekkelig for samhandling med det gjengitte volumet blir flere optimaliseringer implementert og sammenlignet. Det beste volum-optimaliseringsparet blir testa på to ekkokardiologer og en anestesilege. Ytelsen er avhengig av både oppløsningen til volumet og hvor stor del av skjermen bildet dekker. Ytelsen til et ultralydvolum er tilstrekkelig for samhandling og kan brukes som basis for videre utvikling. Resultatene viser potensiale for en mer realistisk applikasjon med nødvendige samhandlingsmuligheter uten behov for kommunikasjon med en ekstern maskin.

In medical imaging it is often necessary to visualize complex three-dimensional anatomical structures. A common algorithm for this use, especially when iso-surfacing and surface-based visualization are not available, is volume rendering. The 3D structure is commonly rendered to a standard two-dimensional display, limiting the depth perception of the image. Augmented reality can be used to alleviate this reduced depth perception by superimposing the digital image on the physical world. Volume rendering is a computationally intensive algorithm, and for augmented reality applications the rendering is often offloaded to a stronger, separate computer. Doing this introduces a certain delay from communication overhead and a more complex architecture. This project aims to implement an instantiation of volume rendering with a focus on ultrasound and computed tomography (CT) directly on Microsoft's augmented reality head-mounted device, HoloLens 2. In order to achieve a frame rate that allows for interaction with the rendered volume, several optimizations are implemented and compared. The best performing volume-optimization pair is also tested on two echocardiologists and an anesthesiologist. The resulting frame rate is dependent on the resolution of the volume and how much of the screen it covers; therefore rendering times for a set of common resolutions and distances are presented. The frame rate for the ultrasound volume was sufficient for interaction and can be used as a basis for further work. The results show potential for a more realistic application with necessary interaction options, and with a no communication overhead and less complex architecture than most existing solutions.