Visual Simultaneous Localization and Mapping Applied on Work Class ROVs

Abstract

Denne oppgaven undersøker muligheten for å bruke Visuell Simultan Lokalisering og Kartlegging (VSLOK) til å øke den lokale situasjonsbevistheten og lokale posisjonsnøyaktighet til fjernstyrte undervannsarbeidsfarkoster (FUAF). Eksisterende metoder som dekker den lokale situasjonsbevistheten og den lokale posisjoneringen, er hovedsakelig akustiske systemer og treghetsnavigasjon som begge har ulike kompromisser i henhold til nøyaktighet, kostnad og kompleksitet. Motivasjonen for denne oppgaven er å bidra til utviklingen av autonome løsninger til FUAF ved å komme med et lavkostnads og nøyaktig alternativ til de eksisterende metodene.

Hoved bidraget i denne oppgaven er et foreslått sanntids FUAF-VSLOK system basert på stereokamerariggen til NTNUs FUAF Minerva og VSLOK metoden ORB-SLAM2. Systemet tar hensyn til virkningen som oppstår av bilder tatt under vann, gir ut estimater på posisjon, orientering og en punktsky av de lokale omgivelsene til Minerva, detekterer nærmeste observerte hindring, og videreformidler den nærmeste detektere hindringen til det Autonomi Rammeverket til Minerva. Sanntids FUAF-SLOK systemet ble implementert i rammeverket Robot Operativ System (ROS) ved å bruke programmeringsspråket C++. Avstanden mellom kameraene i stereokamerariggen ble satt til 0.2 m basert på beregninger gjort på det stereo-overlappende synsfeltet og forventet misforholdsverdier til korresponderende nøkkelpunkter i de venstre og høyre stereo bildene. Systemet bruker Kontrast Begrenset Adaptiv Histogram Utgjevning (KBAH) for å forbedre kontrasten i de ujevnt belyste undervannsstereobildeparene mottatt fra stereokamerariggen, ORB-SLAM2 for å estimere posisjon, orientering og punktsky av omgivelsene, plantilpasning av punkter med Tilfeldig Sampling Konsensus (TSK) og en Euklidsk basert klyngemetode for å avgjøre den nærmeste detekterte hindring, og kommuniserer og formidler det globale koordinatet av den nærmeste detekterte hindringen til Autonomi Rammeverket til Minerva ved å bruke TCP tilkobling.

Systemet ble testet in en undervannshinderløype i Marin Kybernetikk Laboratoriumet Lab på NTNU, både med ideell belysning og med dyphavs simulert belysning, ved å bruke den fulle oppløsningskapasiteten til stereokamerariggen og i en halvert oppløsningsmodus med forbedret lyssensitivitet. Det optiske målesystemet Qualisys ble brukt som referansemåling til posisjonsestimatene, de målte dimensjonene på undervannshinderløypen ble brukt som referansemåling til det estimerte kartet av omgivelsene og den nærmest detekterte hindringsalgoritmen. I forkant av eksperimentet, ble stereokamerariggen kamerakalibrert under vann på avstandene 1, 2, 4 og 5 m for å etablere de relevante kamera parameterne brukt i ORB-SLAM2. Integrasjonen av systemet i Autonomi Rammeverket til Minerva ble testet ved å foreta Fastvare I Løkken (FIL) med en endret versjon av sanntids FUAF VSLOK systemet som genererte syntetiske hindringer istedenfor ekte hindringer observert fra visuell inndata.

Resultatene fra undervannshinderløypen viste at posisjonsestimatet fra sanntids FUAF VSLOK systemet gav god nøyaktighet i lokale områder i korte tidsintervall, men feilen akkumulerte i estimatet etter hvert som stereokamerariggen utforsket større områder av omgivelsene. Det estimerte punktskykartet gav adekvat romlig sammenheng med noen uregelmessigheter mellom tidligere og nye kartlagte hindringer. Den nærmeste hindring detekteringsalgoritmen klarte å detektere og fastslå nærmeste hindring, men ytelsen ble redusert i de dyphavs simulerte test scenarioene på grunn av økt støynivå og forskyvninger i det estimerte kartet. I tillegg, viste resultatene at fordelene med å bruke kameraene i full oppløsning var mindre enn i den lyssensitive modusen på grunn av redusert estimeringsfrekvens i ORB-SLAM2.

Denne oppgaven konkluderte med at bruken av VSLOK metoden ORB-SLAM2 i sanntids FUAF VSLOK systemet viste at den lokale situasjonsbevistheten kunne bli økt ved å bruke den estimerte posisjonen og kartet fra ORB-SLAM2, og at de kan bli brukt i utviklingen av autonome egenskaper i FUAF’er slik som for eksempel den foreslåtte nærmeste hindrings detekteringsalgoritmen. Bruken av den estimerte posisjonen til å øke den lokale posisjoneringen, var ikke egnet på grunn av den økende feilen og hoppene i de estimerte posisjonene som følge av relokalisering og løkkelukking.

This thesis investigates the possibility of using Visual Simultaneous Localization and Mapping (VSLAM) to increase the local situational awareness and local positioning accuracy of Work Class Remotely Operated Vehicles (WC-ROV). The existing methods covering the local situational awareness and local positioning are mainly acoustic systems and inertial navigation, each having different trade-offs in terms of accuracy, cost and complexity. The motivation of this thesis, is to contribute in development of autonomous solutions on WC-ROVs by providing low-cost and accurate alternative to the existing methods.

The main contribution of this thesis is a proposed real-time WC-ROV VSLAM system based on using the stereo camera rig of NTNU’s WC-ROV Minerva and the VSLAM method ORB-SLAM2. The system accounts for underwater imaging effects, provides estimates of The WC-ROV position, orientation and point cloud of local environment, detects the closest observed obstacle, and conveys the closest detected obstacle to the Autonomy Framework of Minerva. The real-time WC-ROV VSLAM system was implemented in the framework Robot Operating System (ROS), using the programming language C++. The baseline of the stereo camera rig was set to 0.2 m based on calculations on the stereo overlapping field of view and expected disparity values of matched features in the left and right stereo image pair. The system uses Contrast Limited Adaptive Histogram Equalization (CLAHE) to contrast enhance the unevenly illuminated underwater stereo image pairs received from the stereo camera rig, ORB-SLAM2 to estimate position, orientation and point cloud of the surrounding environment, plane fitting with Random Sample Consensus (RANSAC) and an Euclidean based clustering method to infer the closest detected obstacle, and communicates and provides the global coordinate of the closest detected obstacle to the Autonomy Framework of Minerva using TCP connection.

The system was tested in an underwater obstacle course in the Marine Cybernetics Lab (MC-lab) at NTNU, both under ideal light conditions and subsea simulated lighting conditions, using the full resolution capacities of the stereo rig cameras and in a halved resolution mode with increased light sensitivity. The optical measurement system Qualisys was used as ground truth for the position estimates, the measured dimensions of the obstacle course were used as ground truth for the estimated map and closest detected obstacle algorithm. Prior to the experiment, the stereo camera rig was camera calibrated under water at the distances 1, 3, 4 and 5m establishing relevant camera parameters to be used in ORB-SLAM2. The integration of the system in the Autonomy Framework of Minerva was tested doing Hardware In the Loop testing with an altered version of the system generating synthetically obstacles instead of true obstacles from visual inputs. The results from the underwater obstacle course tests showed that the position estimates of the real-time WC-ROV VSLAM system provided good accuracy in local areas in short times intervals, but error accumulated in the estimated positions when the stereo camera rig explored larger areas of the environment. The estimated maps provided adequate spatial relations with some inconsistency of previously and newly mapped obstacles. The closest obstacle detection managed to detect and infer the closest obstacles, but the performance reduced in the subsea simulated test cases due to increased noise levels and misalignments in the estimated map. Additionally, showed the results that the benefits of using cameras in full resolution was inferior to the binned mode due to reduced estimation frequency of ORB-SLAM2.

The thesis concluded with that the use of the VSLAM method ORB-SLAM2 in the real-time WC-ROV VSLAM system showed that the local situational awareness could be increased by using the estimated position and map of ORB-SLAM2, and that they could be used in autonomous features of the WC-ROV such as for example the proposed closest obstacle detection. The use of the estimated position to increase the local positioning, was however more questionable due to the increased drift occurring and jumps in the estimated positions due to relocalization and loop-closures.