High-Fidelity 3D Reconstruction of Underwater Scenes Using Neural Radiance Fields (NeRFs)

Abstract

3D-rekonstruksjon av undervannsscener fra visuelle bilder er avgjørende for anvendelser innen marinarkeologi, miljøovervåking, inspeksjon av undervannsinfrastruktur, forvaltning av marine ressurser og lokalisering av undervannskjøretøy. I motsetning til bilder eller videoer gir 3D-modeller en omfattende representasjon av scenen, og de kan brukes til å utforske scenen fra alle synsvinkler, noe som gjør det enklere å foreta detaljerte analyser. Det er imidlertid utfordrende å oppnå fotorealistisk 3D-rekonstruksjon av undervannsscener på grunn av visuelle forvrengninger som følge av lysdemping, turbiditet og tilbakespredning, som påvirker kvaliteten på undervannsbilder.

Tradisjonelle metoder for 3D-rekonstruksjon med høy naturtrohet bruker ofte en totrinnsprosess: bilderestaurering for å korrigere forvrengninger under vann, etterfulgt av geometrisk modellering. Selv om disse metodene kan være effektive under visse forhold, kan de være beregningsintensive og ha begrenset ytelse. NeRF har vist seg å være et lovende alternativ, som er i stand til å representere 3D-scener med høy naturtrohet og syntetisere fotorealistiske bilder fra nye synsvinkler. Eksisterende NeRF-teknikker for undervannsbilder er imidlertid fortsatt utilfredsstillende, ettersom de enten har problemer med å håndtere bildeforringelse under vann eller krever gjenopprettede bilder med pseudobakgrunnssannhet for å gjenopprette den gjenopprettede scenemodellen. Pseudobakgrunnssannheter, som histogramutjevnede bilder, representerer ofte forbedrede undervannsbilder, men viser ikke de faktiske scenens farger fordi fargeendringseffekter under vann, som lysdemping og tilbakespredning, er funksjoner av bølgelengde og observasjonsområde, noe som ikke tas hensyn til under histogramutjevning. Følgelig kan trening av NeRF-modeller med slike unøyaktige sannhetsbilder føre til dårlige eller unøyaktige rekonstruksjoner.

For å løse de identifiserte rekonstruksjonsproblemene foreslår vi i dette prosjektet nye volumgjengivelsesligninger og en ny nevral feltarkitektur for å representere undervannsscener. Vår foreslåtte metode integrerer en fysikkbasert bildegjenopprettingsmodell i standard NeRF-volumgjengivelsesligninger. Dette forenkler rekonstruksjonsproblemet til å bli en kombinasjon av estimering av objektets utstråling og fargegjenoppretting fra flere synsvinkler. Ved å kombinere disse gjengivelsesligningene med vår foreslåtte NeRF-arkitektur, kunne vi oppnå «restaurerte undervannsscenemodeller» med høy troverdighet, som viser de faktiske scenene uten vannforringelseseffektene på de observerte bildene, og de «opprinnelige undervannsscenemodellene» som representerer scenene og effektene av vannmediet.

Vår foreslåtte metode representerer både grunne og dype vannmiljøer med konstant belysning, og den krever ikke restaurerte pseudobakgrunnsbilder for å oppnå den «restaurerte undervannsscenemodellen». Den overgår også andre benchmarkingmetoder kvalitativt og kvantitativt i de fleste sammenlignede beregninger og datasett. Dette bekrefter at den har potensial som en god representasjonsteknikk for rekonstruksjon av undervannsscener.

Selv om den foreslåtte metoden kan forbedre rekonstruksjonen av undervannsscener, er de gjennomførte eksperimentene fortsatt begrensede når det gjelder å validere ulike antakelser som er gjort under formuleringen av gjengivelsesligningene og robustheten til den foreslåtte modellarkitekturen. En mer omfattende gjennomgang og ytterligere forbedringer kan sikre at den foreslåtte metoden kan være pålitelig og robust for rekonstruksjon av undervannsscener. Ikke desto mindre gir dette prosjektet en helhetlig tilnærming til å representere undervannsscener innenfor radiansfelt.

The 3D reconstruction of underwater scenes from visual images is pivotal for applications in marine archaeology, environmental monitoring, underwater infrastructure inspection, marine resource management, and underwater vehicle localization. Unlike images or videos, 3D models offer comprehensive scene representations and can be used to explore the scene from any viewpoint, facilitating detailed analysis. However, achieving photorealistic 3D reconstruction of underwater scenes is challenging due to visual distortions from light attenuation, turbidity, and backscattering, that affect the quality of underwater images.

Traditional high-fidelity 3D reconstruction methods often use a two-stage process: image restoration to correct underwater distortions followed by geometric modeling. While these methods can be effective under certain conditions, they can be computationally intensive and limited in performance. NeRFs have emerged as a promising alternative, capable of representing high-fidelity 3D scenes and synthesizing photorealistic images from novel viewpoints. However, existing underwater NeRF techniques are still unsatisfying as they either struggle to handle underwater image degradation effects or require pseudo-ground truth restored images to recover the restored scene model. Pseudo-ground-truths such as histogram-equalized images often represent enhanced underwater images but do not depict actual scene colors because underwater color alteration effects such as light attenuation and backscattering are functions of wavelength and observation range, which are not considered during histogram equalization. Consequently, training NeRF models with such inaccurate ground truth images could lead to poor or inaccurate reconstructions.

To resolve the identified reconstruction issues, we propose new volume rendering equations and neural field architecture to represent underwater scenes in this project. Our proposed method integrates a physics-based image restoration model into the standard NeRF volume rendering equations. This simplifies the reconstruction problem to be a combination of multi-view object radiance estimation and color restoration. Consequently, by combining these rendering equations with our proposed NeRF architecture, we were able to obtain high-fidelity `Restored Underwater Scene Models' which depict the actual scenes without the water degradation effects on the images observed, and the `Original Underwater Scene Models' which represent the scenes and its water medium effects.

Our proposed method represents both shallow and deep-water environments with constant illumination and does not require pseudo-ground truth restored images to obtain the `Restored Underwater Scene Model'. It also outperforms other benchmarked methods qualitatively and quantitatively in most compared metrics and datasets. This validates its potential as a good representation technique for reconstructing underwater scenes.

Lastly, while our proposed method can improve how underwater scenes are reconstructed, the experiments implemented are still limited in validating various assumptions made while formulating the rendering equations and the robustness of the proposed model architecture. A more comprehensive review and additional improvements could ensure that our proposed method can be reliant and robust for any underwater scene reconstruction. Nonetheless, this project provides a holistic approach to representing underwater scenes within radiance fields.