Multi-Sensor Stereoscopic Visual SLAM for Autonomous Automotive and Seaborne Vehicles

Abstract

I denne oppgaven er det utviklet et navigasjonssystem basert på visuell simultan lokalisering og kartlegging (VSLAM), som er i stand til å inkludere målinger fra Inertial Measurement Unit (IMU) og Global Navigation Satellite System (GNSS) i en samlet factor graf sensor fusjon. VSLAM systemet er feature-basert og optimalisert for prossessering på GPU. Initielle bevegelsesestimater produseres mens man parallelt utfører multi-frame bundle adjustment (BA) over vinduer med aktive factorer. Stedsgjenkjenning gjennomføres vellykket uten noen falske positive deteksjoner, der lukking av den detekterte sløyfen utføres i en siste, tredje tråd. Et filter og en smoother gjennomfører optimaliseringer parallelt over en samlet factor graf, der iSAM2 brukes som den oppdateringsstrategi når nye målinger legges til. Preintegrerte IMU- og GNSS-målinger fusjoneres sammen med VSLAM estimater i filteret. På den måten vil globale GNSS-data korrigere for drift når de er tilgjengelige, mens den visuell-inertiale SLAM-modulen gir nøyaktige målinger av forflytningen til kjøretøyet i mellomtiden, eller hvis signalet til GNSSen faller ut. På denne måten kan kjøretøyet motta nøyaktige målinger på sin globale posisjon, selv ved lavere oppdateringsrate fra GNSSen.

Det utviklede systemet er validert på innsamlede sensordata fra den autonome ferjeprototypen milliAmpere. Som et resultat av problemer med kamerakalibreringen ble testingen hovedsakelig gjennomført på det offentlig tilgjengelige Karlsruhe Institute of Technology and Toyota Technological Institute (KITTI)-datasettet. Analyse viste at den visuell-intertiale odometri (VIO)-delen av systemet overgår det populære stereo VO-algoritmen LIBVISO2 på de fleste av de testede sekvensene. Når lukking av sløyfer ble lagt til VIO-modulen, økes gapet i ytelse ytterligere. Presisjonen til den utviklede algoritmen sammenlignes også med en av de nåværende beste SLAM algoritmene, ORB-SLAM2, for å understreke svakheter som utløses i noen spesielle tilfeller.

For this project, a real-time capable GPU-accelerated feature-based stereo Visual Simultanous Localization And Mapping (VSLAM) solution, capable of fusing measurements from Inertial Measurement Unit (IMU) and Global Navigation Satellite System (GNSS), is developed. Initial motion estimates are produced in one thread while concurrently managing 3D points and performing multi-frame Bundle Adjustment (BA) over short-term windows. Place recognition is successfully performed without false positives, and loop closures are carried out in a final, third thread. The concurrent long-term and short-term optimization is solved over a single factor graph, where iSAM2 is used for the underlying update rule. Preintegrated IMU and GNSS measurements are fused with the short-term VSLAM estimates by optimization. GNSS data are thus available to correct for drift, while the visual-inertial SLAM module provides accurate motion estimates during temporary or permanent loss of GNSS data. This enables the vehicle to report accurate trajectory estimates relative to a global reference frame.

The developed system is validated on real world sensor data recorded on-board the autonomous ferry prototype milliAmpere. However, as a result of insufficient stereo camera calibration, the main portion of the testing is rather performed on the publicly available Karlsruhe Institute of Technology and Toyota Technological Institute (KITTI) dataset. Analysis showed that the Visual-Inertial Odometry (VIO) part of the system outperforms the popular stereo VO system LIBVISO2 on most tested sequences. When loop closures are extended to the VIO module, the gap in performance is increased even further. The resulting performance is also measured up against and compared with one of the current state-of-the-art solutions, ORB-SLAM2, to put the performance of the developed system in perspective.