UAV-Based Hyperspectral Stereoscopic Imaging for Accurate 3D Terrain Mapping

Abstract

Hyperspektral avbildning gir en ny dimensjon til den velutprøvde og mer tradisjonelle avbildningsteknikken stereoskopisk avbildning. Det presenterte arbeidet utforsker hvordan de komplementære avbildningsteknikkene hyperspektral avbildning og stereoskopisk avbildning kan kombineres med UAV-teknologi for 3D terrengkartlegging av en avbildet scene, fra UAV flyhøyder på 20 m, 40 m og 60 m over bakken. Dette inkluderer å avdekke både begrensninger og muligheter og hvordan denne tilnærmingen til 3D-terrengkartlegging presterer opp mot mer konvensjonelle metoder basert på LiDAR-teknologi.

Bildesystemet som brukes, Hyspex Mjolnir VS-620, er ikke skreddersydd for stereoskopiske applikasjoner og kommer med noen ukonvensjonelle egenskaper. Spesielt den smale avstanden mellom kameraene på bare 75 mm setter en begrensning på oppnåelig nøyaktighet, og gjør systemet avhengig av å detektere samsvarende piksler i bildene svært nøyaktig. På den andre siden gir de hyperspektrale aspektene ved avbildningssystemet en mer robust modell, mens avbildningsteknikken pushbroom-skanning tillater en enkel og intuitiv metode for presis georeferering.

Fasebaserte metoder, basert på å utlede Fourier-fasebilder fra stereoparene, gjør det mulig å finne samsvarende piksler i stereoparene svært nøyaktig i tillegg til å være robust mot støy og radiometriske forskjeller. Den to-trinns fasebaserte algoritmen utviklet oppnådde pikselnøyaktighet ned til 0.02 piksler på syntetisk data, og utkonkurrerte den intensitetbaserte SGBM algoritmen levert av Open Source Computer Vision Library betydelig.

På ekte hyperspektral data falt pikselnøyaktigheten noe, og feil i området 0.05-0.15 piksler ble rapportert. Dette tilsvarer en høydenøyaktighet på 0.4096 m, 1.2049 m og 2.4918 m på de beregnede punktskyene fra UAV flyhøydene 20 m, 40 m og 60 m. Til tross for at nøyaktigheten ikke kan sammenlignes med presisjon fra LiDAR-teknologi, viser resultatene et potensiale for applikasjonen med mindre krav til presisjon, spesielt tydelig fra punktskyene beregnet fra UAV flyhøydene 20 m og 40 m over bakken.

Hyperspectral imaging adds a new dimension to the well-tested and more traditional imaging technique of stereoscopic imaging. The presented work explores how the complementary imaging techniques of hyperspectral imaging and stereoscopic imaging can be combined with UAV techno logy for 3D terrain mapping of an imaged scene, from UAV altitudes of 20 m, 40 m, and 60 m above ground. This includes uncovering both limitations and possibilities and how this approach to 3D terrain mapping holds up against more conventional methods based on LiDAR technology.

The imaging system employed, Hyspex Mjolnir VS-620, is not specifically tailored for stereoscopic applications and comes with a few unconventional characteristics. Particularly the narrow baseline of only 75 mm puts a limit on the achievable accuracy and makes the system highly dependent on precise stereo matching well beneath sup-pixel resolution. On the other hand, the hyperspectral aspects of the imaging system make for a more robust model, while the imaging technique of pushbroom scanning allows for an easy and intuitive scheme for precise georeferencing.

Phase-based stereo matching, based on deriving Fourier-phase images from the stereo pair allows for precise stereo matching, while at the same time being robust against noise and radiometric differences. The two-step phase-based stereo matching algorithm developed in the presented work, achieved pixel accuracy down to 0.02 pixels when tested on synthetic data, outperforming the off-shelf intensity-based SGBM algorithm provided by the Open Source Computer Vision Library significantly.

On real hyperspectral data of the imaged scene, the stereo matching accuracy decreased somewhat and errors in the range of 0.05-0.15 pixels were reported. The corresponding elevation accuracy of the derived point clouds was calculated to be 0.4096 m, 1.2049 m, and 2.4918 m for UAV flight altitudes of 20 m, 40 m, and 60 m respectively. Despite accuracy comparable to LiDAR technology not being achieved, the results demonstrate an encouraging potential for applications with fewer constraints concerning precision, particularly evident from the point clouds derived from UAV altitudes of 20 m and 40 m above ground.