Exploring the Performance of GPU-Accelerated Deep Learning Inference in a Big Data Context with AsterixDB

Abstract

Motiverte av den endeløse jakten på raskere og mer skalerbare løsninger for prossesering og verdiskapning av de enorme mengdene data generert i dagens samfunn studerer vi ytelsen til GPU-akselerert dyp læring som en datagruvedriftsteknikk for lagret og strømmende stordata. For å sette opp eksperimenter velger vi sentimentanalyse av tweets som en oppgave som skal utføres gjennom dyp læring og bygger et lettvekts gjentakende nevralnett med et sparsommelig embedding layer designet til å kjøre på GPU. Vi bruker AsterixDB som stordata-håndteringssystem for å skape et miljø for persistens og prosessering av lagrede og strømmende stordata, og implementerer brukerdefinerte funksjoner for AsterixDB som bruker nevralnettet til å klassifisere tweets. For å optimalisere gjennomstrømningen på GPU implementeres semantikk for prosessering av batch i forskjellige formater for de brukerdefinerte funksjonene for å tillate parallell inferens. Våre eksperimenter med lagrede data viser lineær skalerbarhet for økende datasettstørrelser med noen indikasjoner å potensielle flaskehalser tidligere i utførelsesflyten, og strømningsdataeksperimentene viser en gjennomstrømning på 75’000 tweets per sekund, det høyeste vi har sett for denne typen eksperimenter med AsterixDB. Resultatene demonstrerer tydelig potensialet for GPU-akselerert dyp læring som en kraftig stordata-prosesseringsteknikk, men løsningene våre avslører et også behov for at big data management-systemer og prosesseringsmotorer bedre tilrettelegger for batchprosesserings-semantikk for å enklere utnytte denne teknologien.

Motivated by the never ending search for faster and more scalable solutions to process and create value from the vast amount of data generated in our society, we study the performance of GPU-accelerated deep learning inference as a data mining technique for big data in stored and streaming contexts. In order to conduct experiments we chose sentiment analysis of tweets as a task to be performed through deep learning and build a lightweight Recurrent Neural Network with a sparse embedding layer designed to run on the GPU in order to accomplish this. We use AsterixDB as the Big Data Management System providing an environment for persistence and processing of stored and streamed big data, and implement User Defined Functions for AsterixDB using the Recurrent Neural Network to classify tweets. In order to optimize throughput on the GPU, batch processing semantics is implemented in different formats for the User Defined Functions to allow for parallel inference. Our experiments on stored data show linear scalability for increasing dataset sizes with some indications of potential bottlenecks earlier in the processing pipeline, and the streaming data experiments demonstrate a throughput of 75’000 records per second, a tremendous throughput for stream processing and the highest we have seen for this type of experiment with AsterixDB. The results clearly demonstrate the potential of GPU-accelerated deep learning inference as a powerful big data processing technique, however, the nature of our solutions reveals a need for big data management systems and processing engines to better facilitate batch processing semantics in order to easier take advantage of this technology.