Integrating PFLOTRAN-OGS for CO2 Storage with CUDA-based PETSc Solver

Abstract

Klimautfordringene vi står overfor knyttet til økt CO2 i atmosfæren, har økt interessen hos geofysikere for å modellere langtidslagring av CO2. I moderne prosjekter for karbonfangst og lagring (CCS) er beregningenes kompleksitet vanligvis så høy at oppløsningseffektene ignoreres. Likevel har det blitt vist at oppløsningen av CO2 i vann utgjør ca. 10% av CO2 som lagres i et fjellreservoar. Akselerering av disse kodene for å muliggjøre at slike effekter kan simuleres er derfor av stor verdi. Vår hypotese er at disse kodene kan dra nytte av moderne parallelle datamaskiner, inkludert systemer med GPU-akselerasjon.

I dette masterprosjektet analyserer og utforsker vi en simulering i programvaren PFLOTRAN som er bygget på to andre store numeriske rammeverk, PETSc med hypre. PFLOTRAN-OGS-kodebasen som brukes er en tilpasset versjon av den åpne kildekoden PFLOTRAN, utviklet av OGS med støtte fra Equinor. Denne er spesielt skreddersydd for reservoarsimuleringer knyttet til CO2-lagring.

Prosjektet har vist seg å ta flere vendinger, inkludert å inspirere våre OGS kolleger til å implementere og utforske GPU-baserte løsere. Våre oppgaver omfatter bl.a. akselerering av en av løserne som brukes i PFLOTRAN-OGS, måling av ytelsen opp mot den nåværende løsningen som er skrevet kun for CPU, og lokalisering av de nåværende flaskehalsene med tanke på ytelse. I stedet for ytterligere optimaliseringer bestemte vi oss for i dette prosjektet å fokusere på å analysere ikke bare et basisdatasett (enkel svartolje), men inkluderer også en mellomliggende gass-vann-simulering, samt et komplekst to- dimensjonalt CO2 lagringstilfelle.

Resultatene våre viser at bruk av en GPU-akselerert løser med et CPU-basert rammeverk ga samlet sett tregere simuleringer. Vår profilering viste imidlertid også at bruk av den CUDA-akselererte PETSc FGMRES-løseren gagnes av GPU akselerasjon og indikerer dermed at om mer av koden ble flyttet til GPU, ville den generelle ytelsen øke betydelig.

Med at den GPU-akselererte løseren bare utgjør omtrent 3,9% av den totale parallelliserte kjøretiden, antaes det at flytting av flere deler av simuleringsrammeverket til GPU vil kunne gi mye bedre resultater. Flere idéer for fremtidig arbeid er også inkludert.

The climate challenges we are facing related to CO2 increases in the atmosphere, has spiked a strong interest for geoscientist to model long-term storage of CO2. In modern-day Carbon Capture and Storage (CCS) projects, the computational complexity is typically so high that the dissolution effects are ignored. However, the dissolution of CO2 into water has been shown to account for about 10% of the CO2 stored in a rock formation, so accelerating these codes so that such effects can be simulated is of great value. Our hypothesis is that these codes can benefit greatly from modern parallel computers, including systems with GPU acceleration.

In this master’s thesis project, we analyse and explore a PFLOTRAN simulation code that is built on two other major numerical frameworks, PETSc with hypre. The PFLOTRAN-OGS code base used is a custom version of the open source code base of PFLOTRAN developed by OGS with support of Equinor, and is especially tailored for reservoir simulations related to CO2 storage.

The project is shown to take several turns, including inspiring our OGS collaborators to implement and explore a GPU-based solver. Our tasks include acceler- ating one of solvers used in PFLOTRAN-OGS, measuring the performance against the current CPU-only solution, and locating the current bottlenecks regarding execution time. Rather than further optimisations, we decided for this project to focus on analysing not only a baseline data set (simple black-oil), but also include an intermediate gas-water simulation, as well as a complex two-dimensional CO2 storage case.

Our results show that using a GPU-accelerated solver with a CPU-based framework still gave an overall slower simulation. However, our profiling also showed that using the CUDA-accelerated PETSc FGMRES solver is much faster and thus indicates that if more of the code was moved to the GPU, the overall performance would increase significantly.

However, with the GPU-accelerated solver taking only about 3.9% of the overall parallelised runtime, moving more parts of the simulation framework to the GPU shows a lot of promise. Several ideas for future work is also included.