Analyzing an FPGA Neural Network Accelerator Design for Implementation in an ASIC

Abstract

Grunnet den økende interessen for anvendelse av kunstig intelligens har behovet for dedikerte maskinvare-akseleratorer som utfører effektive bereg- ninger av kunstige nevrale nettverk økt. FPGAer tilbyr konfigurerbare lo- giske porter som kan kombineres til å lage integrerte kretser som kan utføre raske og energieffektive beregninger til en relativt lav kostnad, med en kort utviklingstid. Utvikling av en spesialisert ASIC kan medføre høyere kost- nader, men forbedre ytelse og strømforbruk. Den FPGA-baserte arkitekturen Bit-Serial Matrix-Multiplication Overlay (BISMO) benytter seg av matrise- multiplikasjoners egenskap til å kunne beregnes samtidig. Matrisemultip- likasjon er en type beregning som utføres ofte i sammenheng med convo- lutional neural networks, som er en type kunstig nevralt nettverk. BISMO fordeler bit-serielle operasjoner over en formasjon med kryss-produktenheter, som gir muligheten til å definere antall gjeldende siffer under gjennomføring av en beregning. BISMO arkitekturens egenskaper gjør den egnet til aksel- erering av evalueringer innenfor kunstig intelligens. Denne oppgaven beskriver undersøkelsen av de forskjellige tilnærminger som kreves for å integrere BISMO arkitekturen i en FPGA og en ASIC. Nødvendige modifikasjoner av den op- prinnelige arkitekturen blir beskrevet, og det blir foreslått et nytt minnesys- tem for å implementere arkitekturen i en ASIC. Undersøkelser av ASIC- implementasjoner tyder på et teoretisk potensial for økt utførelseshastighet, og det diskuteres steg som må tas for å fortsette undersøkelsene.

With the emerging applications of artificial intelligence, there is a growing interest in dedicated hardware accelerators for efficient computing of artificial neural networks. FPGA’s provide configurable logic gates to create integrated circuits used for fast and power efficient computing, at little cost and development time. The development of specialized ASICs are potentially financially expensive but may provide a ten-fold performance increase and improved energy efficiency. The FPGA-based Bit-Serial Matrix-Multiplication Overlay [1] (BISMO) architecture utilizes the parallelism of matrix-matrix multiplications, which is a core computational kernel for convolutional neural networks, by distributing bit-serial operations on an array of multiple dot-product units, allowing run-time configurable precision. The mentioned properties make the architecture useful for performing inference in neural networks, making it suitable for AI acceleration. This thesis describes the investigation of the different approaches required to implement the mentioned FPGA architecture in an ASIC. Necessary modifications of the original FPGA architecture are described, and a new memory scheme for ASIC implementation is suggested. The analysis of the ASIC implementation shows a theoretical potential for increased throughput, and the steps required for further investigation are discussed.