BAT: A Benchmark suite for AutoTuners - Development of BAT and Tuning on 20x Tesla T4 GPUs and More

Abstract

Autotuning løser ytelsesportabilitetsutfordringen når man lager applikasjoner som skal kjøres på forskjellige arkitekturer. En autotuner er et program som tar en parameterisert kode som input og prøver å finne de best mulige verdiene for et sett med parametrene. For øyeblikket, så vidt vi vet, er det ingen standardiserte "benchmark suites" for autotunere for sammenligning og testing. Utviklere av autotunere lager egne "benchmark suites" når de presenterer og sammenligner autotunere.

Som en mulig løsning på utfordringen med "benchmarking" av autotunere, presenterer vi "BAT: a Benchmark suite for AutoTuners". Denne oppgaven beskriver utviklingen av BAT og hvordan man bruker BAT til å evaluere kjente autotunere på forskjellige arkitekturer. Som en del av dette, ble CUDA-programmer og "kernels" fra "The Scalable Heterogeneous Computing (SHOC) Benchmark" parametrisert.

BAT er en "benchmark suite" med HPC-baserte, parametrerte algoritmer i CUDA med GPU-fokus. Den inneholder et variert utvalg av "benchmarks" med forskjellig kompleksitet som kan bruke flere GPUer på ett system, enten ved å kjøre det samme programmet og beregninger på alle noder, eller ved å dele arbeidet mellom noder.

"Benchmark suiten" er testet med fire forskjellige autotunere som er forskjellige i oppsett og hvordan de "tuner". Disse er OpenTuner, Kernel Tuner, CLTune og KTT. Alle "benchmarkene" er modifisert slik at de passer til mange forskjellige autotunere. En praktisk funksjon fra BAT for testing er kommandolinjegrensesnittet som gjør det lettere å kjøre autotuning med "benchmarkene".

BAT er et felles utviklingsprosjekt med Knut Kirkhorn. Forskjellen er at vi parametrerte våre egne separate algoritmer og testet algoritmene våre på forskjellige multi-GPU-systemer. Denne oppgaven fokuserer på testing på en IBM Power System AC922 med fire Tesla V100-SXM2 32 GB GPUer og en server med 20 Tesla T4 GPUer.

Autotuning solves the performance portability challenge when creating applications that will be run on different architectures. An autotuner is a program that takes a parameterized code as input and tries to find the best possible values for the tuning parameters defined. Currently, to our knowledge, there are no standardized benchmark suites for autotuners for comparing and testing. Developers of autotuners makes their own benchmarks when presenting and comparing autotuners.

As a possible solution to the challenge of benchmarking autotuners, we present "BAT: a Benchmark suite for AutoTuners". This thesis describes the development of BAT and how to use BAT to evaluate known autotuners on different architectures. As part if this work, CUDA programs and kernels from "The Scalable Heterogeneous Computing (SHOC) Benchmark" were parameterized.

BAT is a benchmark suite with HPC based, parameterized algorithms in CUDA with GPU focus. It contains a varied selection of benchmarks of different complexity that can utilize multiple GPUs on one system, either by running the same program and computations on multiple nodes, or by splitting the work between nodes.

The benchmark suite is tested with four different autotuners that differs in setup and how they tune. These are OpenTuner, Kernel Tuner, CLTune and KTT. All the benchmarks are modified to suite a lot of different autotuners. A handy feature from BAT for testing is its CLI that makes it easier to run autotuning with the benchmarks.

BAT is a joint development with Knut Kirkhorn. The difference is that we parameterized our own separate algorithms and tested our algorithms on different multi-GPU systems. This thesis focuses on testing on an IBM Power System AC922 with four Tesla V100-SXM2 32 GB GPUs and a Server with 20 Tesla T4 GPUs.