Underwater Pose Graph SLAM with DVL-Enhanced Visual Loop Closure for Future Aquaculture

Abstract

Denne masteroppgaven presenterer en metode for å løse lokaliserings- og kartleggingsproblemet (SLAM) for en fjernstyrt undervannsfarkost (ROV) i en merde. Dette problemet er løst ved å bruke en poseringsgraf-SLAM-algoritme med seks frihetsgrader og forbedret visuell sløyfelukking ved bruk av DVL. Etter forfatterens fatning så har dette problemet aldri blitt løst før ved bruk av en poseringsgraf SLAM algoritme. Poseringsgraf metoden formulerer SLAM problemet som et ikke-lineært optimaliseringsproblem som prøver å ta hensyn til alle sensormålingene og deres relaterte usikkerheter. Det ikke-lineære optimaliseringsproblemet kan bli reformulert som et minste kvadraters problem som kan bli løst med Levenberg Marquardt algoritmen via iSAM2 rammeverket.

I dette arbeidet har det blitt laget en ny dataassosieringsalgoritme for å løse sløyfelukkingsproblemet i SLAM ved å bruke et monokamera. Algoritmen er basert på hvordan ROV-inspiseringer blir utført i merden. Under inspeksjon siktes ROV-en mot merden når den traverserer den. Potensielle sløyfelukkingskandidater blir derfor filtrert basert på dybde og retningen ROV-en peket i da bilde ble tatt. Ettersom merden er et miljø hvor det finnes få karakteristiske trekk, så ble et mål, kalt for global saliency, brukt til å måle hvor unikt et bilde framsto. Etter sløyfelukkingskandidatene er filtrert på global saliency, retning og dybde, så har bildenes TF-IDF histogrammer blitt sammenlignet ved bruk av cosinuslikhet, for å finne de beste kandidatene.

Ved å anta at fiskenettet er plant, så kan man bruke en projektiv transformasjon til å finne den relative transformasjonen mellom to bilder tatt fra ulike vinkler. Selv om denne projektive transformasjonsdekomponeringen vil ha to løsninger med ukjent bildedybde, så kan man finne den riktige løsningen, samt bildedybden, ved å bruke DVL målingene til å estimere et plan foran ROV-en.

Systemet ble testet på data produsert av SINTEF Ocean sin ROV og algoritmen ga lovende resultater så lenge planantagelsen var reel. Hvor robust denne antagelsen er må bli studert mer i fremtiden.

This master thesis presents a method for solving the simultaneous localization and mapping (SLAM) problem for a remotely operated vehicle (ROV) doing inside traversal of an aquaculture net pen. The method proposed is a six-degrees-of-freedom pose-graph SLAM algorithm with Doppler velocity log (DVL) enhanced visual loop closures. To the best of the author’s knowledge, this problem has never been solved using pose graph SLAM in this environment. The pose-graph method formulates the SLAM problem as a non-linear optimization problem of all the ROV sensor measurements and their respective uncertainties. The non-linear problem can be reformulated as a least-squares problem and solved with the Levenberg Marquardt Algorithm by using the incremental smoothing and mapping 2 (iSAM2) framework.

This work has created a novel data association algorithm for solving the SLAM loop closure- problem inside the fish cage using a mono camera. The algorithm is based on the ROV net inspection procedure, where the ROV is pointing towards the net while traversing it. Therefore, potential image loop closure candidates are filtered on the similarity of depth- and heading measurements when the images were taken. To also account for the fact that the fish cage is a sparse featured environment, a global saliency measure was adapted to aid this filtering process further, avoiding matching low featured scenes. Finally, after filtering image candidates based on these three measures, the cosine similarity of term frequency–inverse document frequency (TF-IDF) histograms of image visual words was used to sort out the best loop closure candidates.

Assuming that the net pen is a planar structure, homography and homography decomposition can be used to obtain the relative translation and rotation between two images used for loop closure. As the homography decomposition solution is ambiguous and only provides translation up to scale, the DVL measurements have been used to estimate the plane structure in front of the ROV and solve the ambiguity and scaling problem.

The system was tested on real-world datasets provided by SINTEF Ocean, and the pose-graph showed promising results as long as the planar net-pen assumption was fulfilled. The robustness of the solution with respect to the planer net-pen assumption must be addressed in future work.