BAT: A Benchmark Suite for Auto-Tuners - Development of BAT and Tuning DGX-2 and More

Abstract

HPC (High Performance Computing) systemer har i de siste årene blitt mer og mer heterogene, og inneholder forskjellige arkitekturer som flerkjernede CPUer og akseleratorer som GPUer og FPGAer.

På grunn av mangfoldet i arkitekturparametere, må programmene optimaliseres og ytelsesjusteres for den gitte arkitekturen for å få den beste ytelsen. Arkitektoniske funksjoner inkluderer spesielle instruksjoner for å bruke maskinvareparallellitet til fler- og mangekjerneprosessorer, forskjellige typer og størrelser på minnet og andre spesielle arkitektoniske funksjoner, for eksempel tensor cores på moderne GPUer. Dette fører til mye ytelsesjustering for den gitte maskinvaren for å oppnå best ytelse.

Siden det er mange justerbare parametre for ytelsesjustering, slik som varierende block size, dybde av loop unrolling og function inlining, ender man opp med enorme søkeområder som er mulig, men veldig vanskelig å gjøre for hånd. Det er mye mer effektivt å bruke en auto-tuner for denne jobben, som automatiserer ytelsesjusteringen av parametriserte implementasjoner. Et problem er at det ikke er noen standard benchmark suite for å måte ytelsen av auto-tunere.

Denne masteroppgaven presenterte hvordan en benchmark suite for auto-tuning kalt BAT (Benchmark suite for Auto-Tuners), ble laget. BAT er en benchmark suite for auto-tunere for GPU and HPC-orienterte programmer laget i CUDA: Denne benchmark suiten er presentert og utviklet i samarbeid med Ingunn Sund som en løsning til mangelen på en standard benchmark suite for autotunere.

BAT inkluderer et variert utvalg av benchmarks av forskjellige grader av kompleksitet og omfang. Hovedfokuset i denne oppgaven har vært på parameteriseringen av koder og benchmarkene utviklet, inkludert benchmarker for multi-GPU systemene NVIDIA DGX-2 og IBM Power System AC922. En oppsummering av våre funn og forslag til videre arbeid er også inkludert.

HPC (High Performance Computing) system have in the recent years become more and more heterogeneous, containing different architectures such as multicore CPUs and accelerators such as GPUs and FPGAs.

Because of the variety in architecture parameters, programs need to be optimized and performance-tweaked for the given architecture in order to get the best performance. Architectural features include special instructions to utilize the hardware parallelism of multi- and many-core processors, different types and sizes of memory, and other special architectural features, such as tensor cores on modern GPUs. This leads to a lot of performance tweaking for the given hardware in order to achieve the best performance.

Since there are a lot of tweakable parameters for performance tuning, such as varying block sizes, depths of loop unrolling and function inlining, one ends up with a huge search space that is possible, but very hard to do by hand. It is much more efficient to use an auto-tuner for this job, that automates the performance tuning of parameterized implementation. One problem is that there is no standard benchmark suite for measuring the performance of auto-tuners.

This thesis presents the creation of the benchmark suite for auto-tuners named BAT (Benchmark suite for Auto-Tuners). BAT is a benchmark suite for auto-tuners for GPU and HPC oriented programs created in CUDA. This benchmark suite is proposed joint with Ingunn Sund as a solution to the problem of no standard benchmark suites for auto-tuners.

BAT includes a varied selection of benchmarks of different degree of complexity and scope. The main focus of this thesis are the parameterized codes and benchmarks done, including benchmarks for the multi-GPU systems NVIDIA DGX-2 and IBM Power System AC922. A summary of our findings and suggestions for future work is also included.