Self-Organizing Maps for Fusion of Spectral Images

Abstract

Denne oppgaven utforsker en ny anvendelse av selvorganiserende kart (SOM) for multimodal bildefusjon i fjernmåling. Forskningen bygger på arbeidet til HYPSO-satellittprosjektet og SeaBee-prosjektet, som begge tar sikte på å forbedre overvåking og kartlegging av kystmiljøer for økologisk bevaring.\\

Oppgaven tar for seg en nøkkelutfordring i feltet: behandlingen av enorme mengder høydimensjonale data samlet inn av forskjellige bildemodaliteter, inkludert RGB, multispektrale og hyperspektrale kameraer. Motivasjonen bak oppgaven med å smelte sammen bilder kommer fra de distinkte fordelene med både hyperspektrale og RGB-bilder. Mens hyperspektrale bilder har høy spektral oppløsning, noe som letter presis identifikasjon av materialer, lider de ofte av lav romlig oppløsning. Omvendt har RGB-bilder høy romlig oppløsning, men mangler spektral informasjon. Tradisjonelle teknikker for datafusjon sliter ofte med kompleksiteten i den virkelige verden, noe som resulterer i ineffektivitet i tid og beregningskraft. \\

For å overvinne disse begrensningene foreslår oppgaven bruk av SOM-er, en type grunt nevrale nettverk. SOM-er er fordelaktige på grunn av deres enkelhet, pålitelighet og beregningseffektivitet. Med en unik evne til å visualisere usikkerheter, kan en dypere forståelse av de underliggende mønstrene og feilene i datasettet oppnås. Nøkkeltrekk ved SOM-er som utforskes inkluderer deres topologiske bevaringsegenskap, som beholder avstander fra det høydimensjonale rommet i det utgitte 2-dimensjonale rommet.\\

Oppgaven diskuterer potensielle utfordringer ved implementering av SOM-er i anvendelse av bildefusjon. Studien inkluderer testing og evaluering på både simulerte og reelle data fra den foreslåtte SOM. Resultatene viser at sammensmeltingen av HSI- og RGB-data gjør det mulig for SOM å projisere og utlede spektral informasjon utover begrensningene til HSI, der bare RGB-data er tilgjengelig. Resultatene og deres potensielle virkninger forventes å bidra betydelig til den pågående innsatsen til NIVA og NTNU, samt det bredere feltet fjernmåling.

This thesis explores a novel application of Self-Organizing Maps (SOMs) for the purpose of multimodal image fusion in remote sensing. The research builds upon the work of the HYPSO satellite project and the SeaBee project, both aiming to enhance the monitoring and mapping of coastal environments for ecological preservation.

The thesis addresses a key challenge in the field: the processing of vast amounts of high-dimensional data collected by different imaging modalities, including RGB, multispectral, and hyperspectral cameras. The motivation behind the task of fusing images emanates from the distinct advantages of both hyperspectral and RGB images. While hyperspectral images possess high spectral resolution, facilitating precise identification of materials, they often suffer from low spatial resolution. Conversely, RGB images possess high spatial resolution but lack in spectral information.Traditional techniques for data fusion often struggle with real-world complexities, resulting in inefficiencies in time and computational power.

To overcome these limitations, the thesis proposes the use of SOMs, a type of shallow neural network. SOMs are advantageous due to their simplicity, reliability, and computational efficiency. With a unique capability of visualizing uncertainties, a deeper understanding of the underlying patterns and errors in the data set can be obtained. Key features of SOMs that are explored include their topological preservation property, which retains distances from the high-dimensional space in the outputted 2-dimensional space.

The thesis discusses potential challenges in implementing SOMs in the application of image fusion. The study includes testing and evaluation on both simulated and real data of the proposed SOM. The results demonstrate that the fusion of HSI and RGB data enables the SOM to project and infer spectral information beyond the limitations of the HSI, where only RGB data is available. The results and their potential impacts are expected to contribute significantly to the ongoing efforts of NIVA and NTNU, as well as the broader field of remote sensing.