An investigation into Multimodal UAV imaging for ocean color and benthic mapping

Abstract

Multi- og hyperspektrale kameraer, samt droneteknologi, har blitt mer tilgjengelig og rimelig i nyere tid. Dermed har også interessen for bruk av data fra disse sensorene, spesielt innen miljø- og naturapplikasjoner, økt. For å kunne dra nytte av dataene og muliggjøre sammenligninger, må den behandles og standardiseres. Denne oppgaven undersøker hvordan ulike nivåer av forbehandling påvirker multispektrale bilder, både for deteksjon av elementer i vann og i sammenligning med hyperspektrale bilder. Hovedmålet med prosjektet er å finne ut hvordan man effektivt kan gjøre miljøovervåking ved å bruke den kombinerte hyper- og multispektrale nyttelast som sitter på det ubemannede luftfartøyet (UAV) med vertikal start og landing (VTOL).

De spektrale båndbildene justeres ved hjelp av en homografimatrise, standardiseres ved å korrigere for kameraspesifikke faktorer gjennom strålingskorreksjon, og korrigeres til slutt for miljøfaktorer ved refleksjonskorreksjon. Bildejustering ved bruk av homografimatrisen til et referansebilde fungerte godt, til tross for bekymringer om endringer i droneposisjonen. Strålingskorreksjon justerte effektivt bilder med ulike eksponeringsnivåer, noe som ga strålingsverdier som var godt sammenlignbare. Refleksjonskorreksjon ved bruk av den anbefalte Empirisk Linje Metoden (ELM) fungerte godt innenfor refleksjonsområdet til Referanse Reflektans Tarpene (RRTs), men feilet og ga negative verdier når refleksjonen var for lav. I slike tilfeller var det bedre å legge til mørkestrømmen i ELM eller å benytte en enklere metode som bruker kun en tarp med refleksjon nær målområdet.

Deteksjonsalgoritmene klarte med varierende suksess å detektere vegetasjon, hvor Forbedret Vegetasjonsindeks (EVI) korrigert for stråling viste seg å være mest effektiv. Det var lite sammenheng mellom de multispektrale og hyperspektrale dataene, noe som indikerer behovet for videre behandling og kalibrering. Dette må til for å finne måter hyperspektral og multispektral avbildning kan brukes sammen for å gi et forbedret datagrunnlag. Totalt sett fremhever funnene viktigheten av forbehandling for å forbedre kvaliteten og brukbarheten til multispektrale data for miljøovervåking. Fremtidig arbeid bør fortsette å forbedre disse teknikkene og utforske nye metoder for å få multispektral og hyperspektral avbildning til å utfylle hverandre bedre.

As multi- and hyperspectral imaging, along with drone technology, have become more affordable and accessible, there has been increasing interest in using these data for mapping and detection, particularly in environmental and nature-related applications. To facilitate this use and make comparisons possible, the images taken need to be processed and standardized. Motivated by this, this thesis investigates how different levels of pre-processing affect multispectral images, both for the detection of elements in water and in comparison to hyperspectral data. The overarching goal of this project is to determine how to effectively utilize the joint hyper/multi-spectral payload of the VTOL UAV for environmental monitoring.

The spectral band images are aligned using a homography matrix, then standardized by correcting for camera-specific factors using radiance correction, and lastly, corrected for environmental factors by reflectance correction. Image alignment using the homography matrix of a reference image performed well despite initial concerns about drone position changes. Radiance correction effectively adjusted images with different exposure rates, resulting in consistent radiance values. Reflectance correction using the recommended ELM worked well within the reflectance range of the RRT, but failed and gave negative values when the reflectance was too low. In such cases, adding the dark current to the ELM or using a single tarp with reflectance close to the target area proved better.

The detection index algorithms were generally able to detect vegetation, with the EVI corrected for radiance seeming to be the most effective. However, there was little relationship between the multispectral and hyperspectral data, indicating the need for further processing and calibration to find ways that hyperspectral and multispectral imaging can be used together. Overall, the findings highlight the importance of pre-processing in enhancing the quality and usability of multispectral data for environmental monitoring. Future research should continue refining these techniques and exploring new methods to make multispectral and hyperspectral imaging complement each other.