Adaptation of Visual SLAM Front-Ends to Challenges of Underwater Vision

Abstract

I denne rapporten tar vi for oss marin snø, en av mange utfordringer som Simultaneous Localisation and Mapping (SLAM)-systemer møter i undervannsomgivelser. SLAM brukes innenfor området autonomi for å kartlegge en agents omgivelser, samtidig som agenten lokaliseres innenfor kartet.

Marin snø er et bredt begrep som betegner mange typer flytende undervannspartikler, både organiske og uorganiske, med størrelser som varierer fra hundrevis av mikrometer opp til ti centimeter. Marin snø finnes i hele det åpne havet, på alle dyp, og som navnet antyder, har det et utseende som ligner på snø. Inirekte SLAM, som bruker nøkkelpunkter fra bilder for å bestemme posisjon og orientering, er utsatt for å bruke punkter på marin snø. Dette kan ha en alvorlig innvirkning på bevegelsesestimatene, eller til og med få systemet til å svikte fullstendig, fordi den marine snøen beveger seg uavhengig av agenten, og dermed gjør ethvert punkt plassert på marin snø til uønsket støy. Derfor utforsker vi potensialet til Maskinlæring (ML) for å motvirke bevegelsesstøyen fra marin snø, og utvikler to nevrale nett kalt P-CLAS og D-CLAS. P-CLAS klassifiserer nøkkelpunkter basert på det lille bildeområdet som omgir koordinatene til nøkkelpunktet, mens D-CLAS klassifiserer basert på den beskrivene vektoren til nøkkelpunktet som er vanlig i indirekte SLAM.

For å trene nettene, samlet vi et sett med videoer og utførte nøkkelpunktdeteksjon for å lage nøkkelpunkter til trening. Hver video ble nøye utvalgt slik at alle dens nøkkelpunkter enten var i klassen ''trygg'' eller ''marin snø''. Videre utvidet vi disse dataene med vår nye syntetiske metode, der bilder fra ''marin snø'' videoer ble kombinert med bakgrunnsbilder uten marin snø gjennom vår snøutvinning og bilde-kombinerings metode. Vi inkorporerer også nettverkene i SLAM-rammeverket pySLAM for å evaluere deres virkning, og inkluderer en ablasjonsstudie for å kvantifisere effekten av noen av designvalgene våre.

I vår konklusjon slår vi fast at både P-CLAS og D-CLAS har lignende effekt på pySLAM-rammeverket, og muliggjør sporing og kartlegging i krevende marine snøforhold der rammeverket normalt ikke kunne initialisere eller avsluttet sporing kort tid etter initialisering. De kvantitative resultatene viste at begge metodene, til tross for sine enkle arkitekturer, er godt egnet til å modellere treningsdatasettene våre, og fremhevet også at valget av beskrivende vektor for D-CLAS er av spesiell betydning. Imidlertid kan mangelen på et variert, ikke-syntetisk datasett med manuelt merket data ha redusert nytten av de kvantitative resultatene, ettersom hovedtendensene i de kvalitative resultatene, for eksempel at P-CLAS overgår D-CLAS, ikke var tilstede i virkelige sekvenser.

Når vi gjennomførte kvalitativ evaluaring av nettverkenes klassifiseringer, observerte vi at D-CLAS var mer robust på et bredere spekter av undervannssekvenser enn P-CLAS. Mens P-CLAS av og til forvekslet enkelte overflater med marin snø eller feilklassifiserte marin snø fremfor teksturerte bakgrunner, var D-CLAS mindre påvirket. Å trene P-CLAS på vårt syntetiske datasett som inkluderer mer teksturerte bakgrunner, reduserte forekomsten av disse problemene. Imidlertid kan begge nettverkene ha behov for forbedret beregningseffektivitet for bruk i sanntids SLAM, dette er spesielt tilfellet for P-CLAS.

In this report, we consider marine snow, one of the numerous challenges faced by Simultaneous Localisation and Mapping (SLAM) systems in underwater environments. SLAM is used within the area of autonomy to map an agent's surroundings while locating the agent within the map.

Marine snow is a broad term denoting many kinds of floating, underwater particles, both organic and inorganic, with sizes varying from hundreds of microns up to ten centimetres. It is present throughout the open ocean at all depths and, as its name suggests, has a similar appearance to snow. Feature-based SLAM which uses sparse points from images to determine pose is prone to detect points on marine snow. This can severely impact its motion estimates, or even cause it to fail completely, because the marine snow moves independently of the agent, making any point placed on marine snow undesirable noise. Therefore, we explore the potential of Machine Learning (ML) to mitigate the motion noise from marine snow and develop two classifiers called P-CLAS and D-CLAS. P-CLAS classifies keypoints based on the small image patch which surrounds the keypoint coordinates, while D-CLAS classifies based on the keypoint descriptor which is commonly used in feature based SLAM.

To train the classifiers, we collected a set of videos and performed keypoint detection to extract the training keypoints. Each video was carefully selected such that all of its keypoints would be either exclusively 'clean' or 'marine snow'. Furthermore, we extended this data with our novel synthetic approach, in which images from the 'marine snow' videos were combined with background images free of snow through our snow extraction and superimposing pipeline. We also incorporate our methods into the SLAM framework pySLAM, to evaluate their impact and include an ablation study to quantify the effect of some of our design choices.

In our conclusion, we state that both P-CLAS and D-CLAS have similar effects on pySLAM, enabling tracking and mapping in heavy marine snow conditions where the framework would normally either fail to initialise or lose tracking shortly after initialisation. The quantitative results showed that both classifiers, despite their simplicity, are highly capable of modelling our training datasets, and also highlighted that the choice of descriptor for D-CLAS is of particular importance. However, the lack of a diverse, non-synthetic dataset with manual labels may have impacted the usefulness of the quantitative results, because the main tendencies of the qualitative results, eg. P-CLAS consistently outperforming D-CLAS, were not present in real world sequences.

When qualitatively evaluating the networks' classification outputs, we observed that D-CLAS was more robust on a wider array of underwater sequences than P-CLAS. While P-CLAS would on occasion mistake certain surfaces for marine snow or incorrectly classify marine snow on textured backgrounds, D-CLAS was less affected. Training P-CLAS on our synthetic dataset which includes more textured backgrounds alleviated some of these issues. However, both classifiers may need gains in computational efficiency for use in real-time SLAM, this is particularly the case for P-CLAS.