Hardware-Software partitioned implementation of an autoencoder-based hyperspectral anomaly detector

Abstract

Hyper-Spectral Small-Satellite for Oceanographic Observations (HYPSO) er et pågående oppdrag på laboratoriet for små satellitter på Norges Tekniske og Naturvitenskapelige Universitet (NTNU). Målet med oppdraget er å ta og prosessere hyperspektrale bilder av havet med en satellitt. Informasjonen fra de hyperspektrale bildene skal bli brukt til å overvåke alge-oppblomstringer langs Norskekysten. Deteksjon av avvik i hyperspektrale bilder (Hyperspectral Anomaly Detection (HAD)) er et hjelpemiddel som kan bidra til oppdraget ved å detektere områder av interesse i de hyperspektrale bildene som blir tatt autonomt. HAD bilder omhandler det å finne sjeldne piksler i bildene, som skiller seg klart ut fra sine omgivelser, uten a priori kunnskap om pikslene.

I denne masteroppgaven er en autoenkoder basert metode for HAD adaptert fra [1] og modifisert for å øke deteksjonspresisjonen. HAD algoritmen bruker en autoenkoder til å lære høy-nivå karaktertrekk i et hyperspektralt bilde, før denne informasjonen er brukt til å utføre en ny metode for å regne ut sannsynligheten for at pikslene avviker fra sine omgivelser. En omfattende oversikt over de siste fremskrittene og tradisjonelle metoder innen deteksjon av avvik i hyperspektrale bilder er presentert i denne masteroppgaven. Den foreslåtte HAD algoritmen er evaluert i Matlab og sammenlignet med kjente HAD algoritmer. Resultatene viser at den foreslåtte algoritmen oppnår de tredje høyeste gjennomsnittlige presisjons resultatene på et sett med hyperspektrale bilder som er mye brukt til evaluering av HAD algoritmer.

En forenklet versjon av den foreslåtte algoritmen er implementert i programmeringsspråket C. C er valgt ettersom dette er programmeringsspråket som er brukt i prosesseringen ombord HYPSO satellitten. En del av den foreslåtte algoritmen er akselerert i spesialtilpasset maskinvare ved hjelp av høynivå syntese. En rekke optimaliserings teknikker, inkludert å øke antall operasjoner som skjer samtidig, er utforsket og sammenlignet.

Til slutt er en maskinvare-programvare partisjonert implementasjon av den foreslåtte algoritmen testet på et Zynq Ultrascale+ MPSoC ZCU104 evaluerings brett. C implementasjonen kjører på applikasjons prossesserings enheten på ZCU104, mens den akselererte delen av algoritmen er implementert som en maskinvare kjerne i den programmerbare logikken på ZCU104. Den optimaliserte maskinvare kjernen oppnår maksimalt ca. 10 ganger raskere utregning av resultatene enn C versjonen kjørt på en 2.9GHz CPU, og ca. 100 ganger raskere enn C versjonen kjørt på prosesserings systemet på ZCU104.

The Hyper-Spectral Small-Satellite for Oceanographic Observations (HYPSO) is an ongoing mission at the small-satellite laboratory at the Norwegian University of Science and Technology (NTNU). The objective is to capture and process hyperspectral images of the ocean with a satellite. The obtained information will be used to monitor algal blooms along the Norwegian coastline. Hyperspectral Anomaly Detection (HAD) is a feature that can increase the performance of the mission by autonomously detecting regions of interest in the captured hyperspectral images. HAD is the process of locating rare pixels in hyperspectral images that notably differ from their surrounding pixels, without a priori knowledge concerning the pixels.

An autoencoder-based method for HAD is adapted from [1] and modified to increase the accuracy in this thesis. The HAD algorithm uses an autoencoder to learn the high-level features of the hyperspectral image before using that information to perform a novel method for computing the anomaly scores for all pixels in the hyperspectral image. The anomaly score is the probability that a pixel is an anomaly determined by the HAD algorithm. An extensive review of known baseline and state-of-the-art HAD algorithms is presented in this thesis. The HAD algorithm here is evaluated in Matlab and compared to known baseline and state-of-the-art HAD algorithms. The results show that it achieves the third-highest average accuracy on a set of hyperspectral images widely used to evaluate HAD algorithms.

A simplified version of the HAD algorithm proposed in this thesis is implemented using the C-programming language. The C-programming language is chosen as the programming language used in the processing pipeline onboard the satellite for the HYPSO mission. A computationally expensive part of the C implementation is accelerated in customized hardware using high-level synthesis. A range of optimization techniques, including increased concurrency and fixed-point arithmetic in high-level synthesis, are explored and compared.

Finally, a hardware-software partitioned implementation of the HAD algorithm is tested using a Zynq Ultrascale+ MPSoC ZCU104 Evaluation Kit. The C implementation runs on the application processing unit on the ZCU104. The accelerated part of the algorithm is implemented as a hardware kernel in the programmable logic on the ZCU104. The optimized hardware kernel achieves a maximum of about ten times faster computation of the anomaly scores than the C version of the hardware kernel on a 2.9GHz CPU and up to 100 times faster than the C version on the application processing unit on the ZCU104.