GPU-enabled Laplace-Dirichlet Rule-Based Method for Cardiac Fiber Computations

Abstract

Kardiologi er et viktig felt innenfor medisin, og muligheten til å presist simulere hjertefunksjoner er av stor interesse i modellering av hjerte. Informasjon om ori- enteringen til hjertefibre er en essensiell del av mange beregningsbaserte hjerte- modeller. En av de mest brukte metodene for å utlede orienteringen til hjertefi- bre er Laplace-Dirichlet Rule-Based metoden (LDRB). Hovedfordelen ved å bruke denne metoden er at den benytter seg av partielle differensiallikninger (PDEer) for å fange opp den komplekse hjertegeometrien. Dette muliggjør mer anatomisk korrekte hjertefiberorienteringer enn andre metoder, men er også beregningsin- tensivt.

Denne oppgaven beskriver hvordan vi har implementert en distribuert-minne- parallell versjon av LDRB algoritmen for beregning av hjertefiberorienteringer. Den presentere implementasjonen benytter seg også av beregningskraften til en eller flere GPUer for å øke ytelsen sammenliknet med å kun bruke en flerkjern- ers CPU. I tillegg til at være stand til å bruke GPUer for å løse PDE’ene som er involvert i algoritmen, viser vi også hvordan de påfølgende stegene som trengs for å definere hjertefiberorienteringer kan flyttes over til GPUer. Ved å begrense oss til tetraediske mesh, er vi i stand til å utlede lukkede løsninger for gradient- beregningene, projeksjonen, og interpolasjonen som kreves, slik at de effektivt kan beregnes i en GPU-kernel.

Videre presenterer vi omfattende referansemåling av vår implementasjon av LDRB algoritmen. I en sammenlikning med en eksisterende Python-basert imple- mentasjon av LDRB viser vi en minimal speedup på 15x på en enkel CPU-kjerne. Ytelsen til vår implementation er studert videre ved å skalere opp til 512 CPU- kjerner, og ved å bruke 1 til 4 GPUer. Våre referansemålinger viser at PDE’ene kan løses ∼ 1.5x raskere på én GPU sammenliknet med en CPU med 64 kjerner. I de andre delene av algoritmen var har flyttet over på GPU, viser vi en speedup på mel- lom 1.75x og 19x på én GPU, sammenliknet med en CPU med 64 kjerner. I begge tilfeller viser vi at når vi øker antall GPUer som tas i bruk, så får vi en tilnærmet lin- ear speedup. I tillegg sammenliker vi ytelsen til GPUer fra både AMD og NVIDIA. Alle disse resultatene er samlet ved å prosessere et sett med høyoppløste mesh med opp til 255 millioner elementer, laget ved bruk av et åpent datasett fra en studie om akutt myokardiskemi. Til slutt presenter vi et tillegg til metoden i form av en heuristikk som gjør det enklere å presist kunne resonnere om hvor hjertegeometrien et vilkårlig punk ligger, som gjør det mulig å definere hjertefiberorienteringer på en mer robust måte. Forslag til fremtidig arbeid blir også presentert.

Cardiology is a major field in medicine, where the ability to model and simulate cardiac functions accurately is of great interest. Knowledge about cardiac fiber orientations is essential in many computational cardiac models. One of the most widely used methods for deriving these cardiac fiber orientations is the Laplace- Dirichlet Rule-Based method (LDRB). The main advantage of this method is that it utilizes partial differential equations (PDEs) to properly capture the complex geometry of the heart. This allows for more anatomically correct fiber orientations than other methods, but it is also computationally intensive.

This thesis describes how we implemented a distributed-memory parallel ver- sion of the LDRB algorithm for computing myocardial fiber orientations. The pre- sented implementation also leverages the processing power of one or more many- core GPUs to improve performance compared to only using a high-end multi-core CPU. In addition to being able to use GPUs to solve the PDEs involved in the algo- rithm, we show how the subsequent steps needed to define fiber orientation can be offloaded to GPU. By limiting ourselves to tetrahedral meshes, we are able to find closed-form solutions for the gradient calculation, projection, and interpolations needed, such that a GPU kernel can efficiently compute them.

Further, we present extensive benchmarking of our implementation of the LDRB algorithm. In comparison with an existing Python-based implementation of LDRB, we show a minimal speedup of 15x on a single CPU core. The perfor- mance of our implementation is studied further by scaling it up to 512 CPU cores and by using 1 to 4 GPUs. Our benchmarks show that the PDEs may be solved ∼ 1.5x faster on a GPU compared to a 64-core CPU. In the other parts of the al- gorithm we offloaded to GPU, we show between 1.75x and 19x speedup on one GPU compared to a 64-core CPU. In both cases, it is shown that increasing the number of GPUs results in a close-to-linear speedup. In addition, we compare the performance using GPUs from AMD and NVIDIA. All these results are obtained by processing a set of high-resolution computational meshes with up to 255 mil- lion elements, created using an open dataset from a study on acute myocardial ischemia.

Finally, an addition to the method is presented in the form of a heuristic that allows for more accurate reasoning about where in the heart geometry an ar- bitrary point is, which makes it possible to more robustly define fiber orientations. Directions for future work is also included.