FPGA Accelerated Convolution Layer Implementation for Semantic Segmentation of Hyperspectral Images

Abstract

Avstandsobservering med satellitter har vært et viktig steg i miljøovervåkning. HYPSO-oppdraget forsøker å detektere skadelig algevekst fra verdensrommet med hjelp av satellitten HYPSO-1. Den er utstyrt med et hyperspektral kamera med egenskaper til å ta bilder med rikt spektralt innhold. Disse bildene er store --- for store til å overføre til basestasjoner hver gang de blir tatt. Derfor er det ønskelig å bruke maskinlæring for prosessering av bildene med satellittens interne prosesseringssystemer. Konvolusjonelle nevrale nettverk har vist seg nyttige til segmentering av bilder. Satellitten kan bruke slike nettverk til å klassifisere informasjon i hyperspektrale bilder med lavt strømforbruk. Denne oppgaven utvikler et rask og energieffektiv konvolusjonelt lag for bruk i segmentering av hyperspektrale bilder direkte på satellittens innebygde FPGA. High-Level Synthesis blir brukt til utvikling. Implementasjonen ga tilfredsstillende ytelse, med om lag 1.8ms for å utføre konvolusjon på et $512\times 512\times 10$ stort hyperspektralt bilde.

Remote sensing using satellites has become an important step in environmental monitoring. The HYPSO Mission aims to detect harmful algal bloom from space using the HYPSO-1 satellite. It is equipped with a hyperspectral imager capable of capturing images with incredible spectral detail. These images are large --- too large to mindlessly transmit to earth every time they are taken. Thus, the use of machine learning on the satellites internal instruments is motivated. Convolutional Neural Networks (CNNs) are have been shown to be excellent at performing image segmentation. Using such a network on a hyperspectral imager in orbit can classify the images at minimum energy utilisation. This thesis aims to develop an efficient and fast convolutional layer to be used in neural networks for semantic image segmentation of hyperspectral images on the satellite's on-board FPGA. High-Level Synthesis was used for development. The implementation gave satisfactory performance numbers, with a full convolution layer taking approximately 1.8ms to compute for a $512\times 512$ image with 10 spectral bands.