Graph-Based Multi-Modal SLAM for Resilience in Sensor-Degraded Environments

Abstract

Pålitelig og nøyaktig samtidig lokalisering og kartlegging (SLAM) er en nødvendig forutsetning for vellykket bruk av autonome systemer, som gjør det mulig for roboter å kartlegge og navigere omgivelsene sine, uten bruk av GPS. Selv om dagens SLAM-systemer er svært nøyaktige og presise, sliter de fleste likevel i sensordegraderte miljøer, siden de er avhengige av én enkelt eksteroceptiv sensormodalitet som for eksempel et kamera eller en LiDAR. Motstandsdyktighet ovenfor slik sensordegradering kan utvide horisonten til autonome systemer utover det som er mulig i dag, og dermed muliggjøre alt fra underjordiske operasjoner til romforskning. For å lykkes med dette er det nødvendig å ta i bruk flere komplementære sensorer og dermed ta nytte av den økte motstandsdyktigheten og redundansen tilleggssensorer kan tilby. På bakgrunn av dette presenterer vi et semi-tett LiDAR-visuell-inertiell fusjonssystem baser på det matematiske rammeverket som faktorgrafer tilbyr og den inkrementelle glatting- og kartleggingsalgoritmen iSAM2. Vårt bidrag er todelt og inkluderer a) en monokulær visuell frontend som beriker visuelle landemerker med dybde fra LIDAR, og b) en iSAM2-basert "bevegende-vindu" backend som fusjonerer den visuelle dataen med inertielle sensormålinger og odometrifaktorer fra et LiDAR-odometrisystem. Vi tester det foreslåtte systemet på det åpne datasettet Newer College dataset og i et degradert miljø der lokalisering basert på LiDAR alene feiler på grunn av geometrisk selvlikhet i omgivelsene. Resultatene våre tilsier at en multimodal fremgangsmåte kan gi økt motstandsdyktighet ovenfor sensordegradering og motiverer dermed videre forskning på multimodal persepsjon. Arbeidet presentert i denne oppgaven er hovedsakelig en innsats for å utvikle et nytt paradigme for tett koblet sensorfusjon.

Reliable and accurate simultaneous localization and mapping, or SLAM, is a vital prerequisite for effective deployments of autonomous systems that enable robots to map and navigate their surroundings, even in a GPS-denied setting. While current state-of-the-art SLAM systems are highly accurate and precise, most still struggle in sensor-degraded environments, due to reliance on a single exteroceptive sensor modality such as a camera or LiDAR. Resilience to such sensor degradation could extend the reach of autonomous systems beyond what is possible today, with applications ranging from subterranean operations to space exploration. It is essential for the success of this to take advantage of multiple complementary sensors, thus providing resilience to single-sensor failure through the redundancy and resourcefulness offered by additional sensor modalities. Motivated by this, we present a semi-tight LiDAR-visual-inertial fusion system based on the mathematical framework of factor graphs and the iSAM2 incremental smoothing and mapping algorithm. Our contribution includes a) a monocular visual frontend that enriches visual features with LiDAR depth, and b) an iSAM2-based sliding-window backend that fuses the visual data with inertial measurements and odometry constraints from a LiDAR odometry system. We test our proposed system on the open Newer College dataset as well as in a degraded environment where LiDAR-only localization fails due to self-similar geometry. Our results suggest that a multi-modal approach can offer increased resilience to sensor degradation, motivating the need for further research on multi-modal perception. The work presented in this thesis stands as a preliminary effort to help develop a new tight-fusion paradigm for multi-modal SLAM.