Reconstruction of Compressive Sensed Hyperspectral Images by Deep Convolutional Neural Network

Abstract

Hyperspectral Smallsat for Oacen Observation (HYPSO) er ein satellitt for jord observasjonar, meint for å detektera algar langs kysten av Noreg. Satellitten er bygd på CubeSat standarden, noko som gjer den liten og rimeleg samanlikna med konvensjonelle satellittar. HYPSO-1 er utstyrt med eit hyperspektralt kamera, som fangar hyperspektrale data kubar. Kamerasystemet skannar området under seg og sender det hyperspektrale biletet til bakkestasjonen. Det er ofte store filer som skal sendast frå rommet, og overføringa tar tid. Ein måte å redusera mengda av data som skal sendast er igjennom ein samplingsmetode kalla compressive sensing. Denne metoden er krevjar ein rekonstruksjon av den komprimerte dataen. Rekonstruksjonen har lenge blitt utført ved hjelp av optimerings- eller iterative algoritmar. Desse algoritmane har vist gode rekonstruksjons resultat, men brukar lang tid og må ofte finjusterast for å oppnå optimalitet. Djup lærings feltet har ekspandert og funne sin veg inn i compressive sensing rekonstruksjon. Konvolusjonere nevrale nettverk har vist toppmoderande ytelse innanfor bilete klassifisering. DeepCubeNet er eit konvolusjonert nevralt nettverk, med ein U-Net arkitektur, som blir brukt til å rekonstruera hyperspektrale bileter. DeepCubeNet er brukt til å rekonstruera hyperspektrale bileter med opp til 80% kasta data. Ved å trena nettverket med eksisterande hyperspektrale datasett, som ICVL og Aviris, klarte modellane å rekonstruera hyperspektrale bileter med PSNR på 34 dB og SSIM på 0.887 frå bileter av jord observasjonar.

The Hyperspectral Smallsat for Ocean Observation (HYPSO) mission is an earth observational satellite for detecting algae blooms along the coast of Norway. The satellite is based on the CubeSat standard, making it small and affordable compared to conventional satellites. HYPSO-1 has a hyperspectral camera onboard, which captures hyperspectral data cubes. The imager scans the scene and sends the hyperspectral image to the ground station. The files being transmitted get large and thus take a long time to transfer from space. One way to reduce the amount of data being transferred is through the sampling technique of compressive sensing. This technique requires reconstruction, which has long been done with the help of optimization or iterative algorithms. Though these algorithms make good reconstruction results, they take a long time and often require handcrafted priors for optimality. The field of deep learning has grown in size and has found its way into compressive sensing reconstruction. Convolutional neural networks have shown state-of-the-art performance in image classification. The DeepCubeNet is a convolutional neural network, with a U-Net architecture, for reconstructing compressive sensed hyperspectral images. In this thesis, the DeepCubeNet is used to reconstruct hyperspectral images with up to 80 % discarded data. By training the U-Net with existing hyperspectral datasets like ICVL and Aviris, the model can reconstruct hyperspectral images with PSNR of 34 dB and SSIM of 0.887 taken of earth observational scenes.