Performance analysis of domain geometry optimizations in an LBM proxy application

Abstract

Lattice-Boltzmann Metoden (LBM) er en metode for å simulere væskestrøm spesielt egnet for å simulere flyt i komplekse geometrier. Moderne Høy-Ytelses Databehandlingsplattformer legger til rette for store og nøyaktige simuleringer ved bruk av LBM modeller, som f.eks. D3Q27 modellen, noe som vekker interesse innen områder som simulering av blodstrøm. Denne avhandlingen analyserer effekten av geometrispesifikke optimaliseringer rettet mot spredte geometrier som koronararterier, og utforsker de samme optimaliseringene for porøse steiner ved bruk av en rekke emulerte geometrier. Ved hjelp av distribuert og delt minne-parallelitet med MPI og OpenMP, har vi laget en proxy-applikasjon for LBM ved bruk av D3Q27-modellen. Vi har implementert optimaliseringer rettet mot disse geometriene, ved bruk av indirekte adressering og optimalisering av løkkestrukturer. Gjennom eksperimenter på superdatamaskiner som Fram og Betzy viser vi at disse optimaliseringene sammen kan oppnå opptil 48x raskere ytelse enn den geometri-uvitende basislinjen for spredte geometrier som koronararterier. Vi viser at de optimaliserte versjonene skalerer nær lineært med synkende porøsitet, og at vi oppnår opptil 5x raskere ytelse for porøsiteter rundt 10%, sammenlignbart med porøse steiner som sandstein.

The Lattice-Boltzmann Method (LBM) is a method for simulating fluid flow well suited for simulating flow in complex geometries. Modern High-Performance Computing platforms allow large-scale and accurate simulations using LBM models, such as the 3-dimensional D3Q27 model, attracting interest in areas like blood-flow simulations. This thesis analyses the impact of geometry-specific optimizations targeted towards sparse geometries like coronary arteries and explores the same optimizations for porous rocks using an array of emulated geometries. Using distributed and shared memory parallelism with MPI and OpenMP, we have created a proxy application for the LBM using the D3Q27 model. We have implemented optimizations targeted towards these geometries, using indirect addressing and loop structure optimizations. Through experiments on the Fram and Betzy supercomputers, we show that these optimizations together can achieve up to 48x speedup over the geometry-unaware baseline for sparse geometries like coronary arteries. We show that the optimized versions scale close to linearly with decreasing porosity, and that we see up to 5x speedup for porosities around 10%, commonly found in porous rocks like sandstone.