Clustering and Classification of hyperspectral images on the HYPSO CubeSat

Abstract

NTNU SmallSat Lab utvikler HYPSO, en kubesatellitt som skal overvåke havet ved bruk av et hyperspektralt kamera. Prosesseringen av hyperspektrale bilder ombord blir gjort serielt i en prosesseringskjede som ble utviklet før denne oppgaven. Klassifisering og gruppering av hyperspektrale bilder ombord kan redusere behovet for å laste ned hele hyperspektrale bilder over lavkapasitetslinken til jorden, men heller bare laste ned etiketten til hver piksel. Siden hyperspektrale bilder inneholder store mengder data og det er begrenset med prosesseringskraft tilgjengelig krever prosessering om bord spesielle hensyn. Denne oppgaven utforsker beregningsgrensene for maskinvaren om bord, integrerer prosesseringskjeden i satellitten og utvikler moduler for gruppering, klassifisering og dimensjonsreduksjon underlagt begrensningene i regnekraft. Modulene har blitt verifisert og analysert med profileringsverktøy, og testet på reell hyperspektral data.

En metode for gruppering er foreslått ved bruk av Selvorganiserende Kart, som lager en kompakt representasjon av hyperspektrale data. Det oppnår delvis gruppering ombord, hvor kartet trenes på bakken før det lastes opp og brukes til å gruppere nye bilder tatt av HYPSO. Dette avlaster store deler av prosesseringsarbeidet, som resulterer i et lavt minneforbruk og lav beregningstid ombord. Ulike parametere for å trene og klassifisere de Selvorganiserende Kartene er utforsket. Metoden viser potensiale for gruppering av hyperspektrale bilder med konkurransedyktige resultater sammenlignet med andre algoritmer.

For klassifisering er den populære Støttevektormaskinen med en radial basis funksjon som kjerne implementert. Den blir brukt som referanse til en Selvorganiserende Kart basert klassifikator. Med høy nøyaktighet og lavt minnebruk er det en passende klassifiseringalgoritme for prosessering ombord. Hovedkomponentanalyse brukes for a forbedre prosesseringshastigheten til gruppering og klassifisering ved å redusere dimensjonen til dataen.

NTNU SmallSat Lab is developing the HYPSO CubeSat, a satellite platform for observing the ocean using a hyperspectral camera payload. Processing captured hyperspectral images on board is to be done using a processing pipeline, developed prior to this thesis. Classification and clustering of hyperspectral images can reduce the need to downlink full hyperspectral images over the low capacity downlink to earth by only having to downlink pixel labels. Given the large amount of data in a hyperspectral image and the modest computational power available, on board processing requires special considerations. This thesis explores the computational limits of the payload hardware, integrates the processing pipeline in the satellite platform and develops modules for clustering, classification and dimensionality reduction subject to the computational constraints. The modules have been verified and analysed with profiling tools, and tested on real hyperspectral data.

A method for clustering is proposed using Self Organizing Maps, by creating a dense representation of hyperspectral data. It achieves partial on board clustering, where the map is trained on the ground and uploaded before being used to cluster new captured images on board HYPSO. This offloads a significant amount of computational work, resulting in a low memory usage and low computational time on the target satellite platform. Various parameters for training and clustering the Self Organizing Map are explored. It shows potential for clustering hyperspectral images with competitive results to other algorithms.

For classification, the popular Support Vector Machine with the Radial Basis Function kernel has been implemented. It is used as a benchmark against a Self Organizing Map based classifier. With good classification accuracy and low memory usage, it is a suitable classification algorithm for on board processing. Principal Component Analysis is used to speed up both classification and clustering through reducing the dimension of the input data.