Terrain-Based Navigation for Unmanned Underwater Vehicles Using Visual Simultaneous Localization and Mapping

Abstract

Denne avhandlingen ser nærmere på robustheten til visuell simultan lokalisering og kartlegging (V-SLAM) for navigasjon av ubemannede undervannsfarkoster, samt bildebehandlingsmetoder som er velegnede for V-SLAM under vann. Et datasett ble laget ved å gjennomføre en undersøkelse av et vrak med et stereokamera montert på en fjernstyrt undervannsfarkost (ROV). To kamerakalibreringsforsøk ble gjennomført i en tank med sjøvann, og en kameramodell ble identifisert for stereokameraet ved å foreta en kamerakalibrering. Fire forskjellige bildebehandlingsmetoder ble implementert i V-SLAM-algoritmen OpenVSLAM; et bilateralt filter (BLF), histogramutgjevning, kontrastbegrenset adaptiv histogramutgjevning, samt et nevralt nettverk for fargekorreksjon og lysspredningsestimering i undervannsbilder. De visuelle effektene av bildebehandlingsmetodene ble identifisert ved inspeksjon av bildehistogrammer og likhetsbilder. Navigasjonsdataen fra ROV-en ble brukt til å lage en sammenligningsreferanse, som ble brukt til å georeferere baneestimater og kartestimater fra OpenVSLAM. Sammenligningsreferansen ble også brukt til å beregne den absolutte banefeilen og den relative posisjonsfeilen (RPE) til OpenVSLAMs baneestimater. En sammenligningsstudie av OpenVSLAM med forskjellige konfigurasjoner av bildehandlingsmetoder ble så utført.

Ved å se på distribusjonen av visuelle kjennetegn i bildepyramider, det totale antallet visuelle kjennetegn, samt banelengder, ble filtrering av bildestøy og lysspredning identifisert som viktige faktorer for å finne overensstemmelser av visuelle kjennetegn, og følgelig robustheten til V-SLAM-algoritmer til undervannsbruk. For dette formålet ble BLF funnet til å være en høyst passende bildebehandlingsmetode for V-SLAM under vann. Ved å analysere RPE-en ble den mest signifikante kilden til akkumulert drift funnet til å være tap av visuelle kjennetegn som følge av krappe endringer i perspektiv. Nøye tilpasset manøvrering, med lav altitude og uten krappe svinger, ble identifisert til å være en viktig faktor for V-SLAM under vann, både med tanke på robusthet og akkumulert drift. Et kamera- og lysoppsett tilpasset den aktuelle undersøkelsen ble også identifisert som en viktig, praktisk faktor for robust anvendelse av V-SLAM i undervannsmiljøer. Bevis ble også funnet på at antagelsen om et statisk kart i standardmodellen for V-SLAM er en betydningsfull robusthetsfaktor for V-SLAM under vann, på grunn av det store antallet dynamiske mål. OpenVSLAMs sløyfedeteksjonsmetode ble også funnet til å være upassende for V-SLAM under vann på grunn av dens sensitivitet til endringer i belysning.

This thesis investigates the robustness of visual simultaneous localization and mapping (V-SLAM) for navigation of unmanned underwater vehicles, as well as image processing methods suitable for underwater V-SLAM. A dataset is created by conducting a wreck site survey with a stereo camera mounted on a remotely operated vehicle (ROV). Two camera calibration experiments are conducted in a sea water tank, and a camera model is identified for the stereo camera by performing a camera calibration. Four different image processing methods are implemented into the V-SLAM algorithm OpenVSLAM; a bilateral filter (BLF), histogram equalization, contrast-limited adaptive histogram equalization, and a state-of-the-art convolutional neural network for underwater color correction and backscatter estimation. The visual effects of the image processing methods are identified by inspecting image histograms and similarity images. The ROV navigation data is used to estimate a ground truth reference, which is then utilized to georeference the trajectory- and map estimates from OpenVSLAM. The ground truth reference is also used to calculate the absolute trajectory error and the relative pose error (RPE) of OpenVSLAM's trajectory estimates. A comparison analysis of OpenVSLAM with various configurations of the image processing methods is then performed.

By looking at the visual feature distribution of image pyramids, the total number of visual features, and the trajectory lengths, suppression of image noise and forward scattering blur are identified to be important factors for feature matching and, consequently, the robustness of V-SLAM algorithms in underwater applications. For this purpose, the BLF is found to be a highly suitable image processing method for underwater V-SLAM. By analysing the RPE, the most significant source for accumulated drift is identified to be loss of visual features due to sudden changes in perspective. Proper maneuvering, with low altitude and without sharp turns, is identified to be an important factor for underwater V-SLAM, both in terms of robustness and accumulated drift. A well-suited camera- and lamp setup for the relevant survey is also found to be an important, practical factor for robust applications of V-SLAM in underwater environments. Evidence is also found, which indicate that the static map assumption of the full SLAM standard model is a considerable robustness factor for underwater V-SLAM, due to the large number of dynamic targets. OpenVSLAM's bag of visual words-based loop detection method is also found to be unsuited for underwater V-SLAM, due to it's sensitivity to changes in illumination.