Exploration and Implementation of Large CNN Models for Image Segmentation in Hyperspectral CubeSat Missions

Abstract

Dype konvolusjonelle nevrale nettverksmodeller som UNet arkitekturen har blitt vist å være spesielt effektive til å segmentere hyperspektral bildedata. Det å implementere slike nettverk på kubesatellitter som driver med hyperspektral jordobservasjon kan potensielt drastisk redusere dataen nødvending for nedlastning. Disse nettverkene er derimot svært ressurskrevende og kan være utfordrende å implementere på mindre innvevde systemer med reduserte ressurser. Denne oppgaven håndterer dette problemet ved å implementere en ressurseffektiv UNet programvare som kan kjøre på ARM systemer. I tillegg legger oppgaven frem et forslag for akselerering av konvolusjonelle lag på en Field Programmable Gate Array (FPGA). Programvaren oppnår en piksel prediksjonstid på om lag 294us på et 512x512x102 hyperspektralt bilde. Avslutningsvis så foreslår oppgaven et standardisert vektformat for nevrale nettverk kalt Weights Interleaved by Filters (WIF), som gjør det mer effektivt å håndtere vektdata på innvevde systemer.

Large Convolutional Neural Network (CNN) models such as the UNet have been shown to be especially efficient at performing semantic segmentation on hyperspectral images. Deploying such networks on Earth Observation (EO) satellites, such as CubeSats, provides the possibility for greatly reducing the required data for downlink. These networks are however computationally heavy and have large memory footprints which makes them difficult to implement on resource constrained embedded devices. This thesis tackles this issue through implementing a memory efficient UNet software framework capable of running on ARM devices with limited system memory. Additionally, a hardware/software codesign is proposed to accelerate the convolutional layers on an Field Programmable Gate Array (FPGA). The software framework achieves a pixel prediction time of 294us on 512x512x102 hyperspectral image cubes, with a system memory footprint of approximately 120MB at maximum. Finally, the thesis proposes a standardized format called Weights Interleaved by Filters (WIF) for efficient storage of trainable parameters from CNNs for embedded devices.