Fusion of Visual-Inertial Odometry and GNSS-Based Positioning for Localization of Autonomous Ferries

Abstract

Selvlokalisering for autonome systemer er helt essensielt for å kunne operere uten tilsyn. For droner og andre høyhastighetsfartøy så er visuell-treghetsbasert odometri (Visual-Inertial Odometry) et godt alternativ. I denne mastergraden ble det oppdaget at å bruke dette som et lokaliseringsverktøy for trege, autonome ferger, seilende i bymiljø var en større utfordring enn for droner. Det var flere grunner til dette, men et stort problem var at landemerkene som ble avbildet var alle langt unna båten. Det ble anslått som nødvendig å ha høyere oppløsning på videokameraene, samt at estimatene for dybden til de avbildede landemerkene måtte ha en mer robust initialisering. Likevel, på tross av dårlig lokaliseringsnøyaktighet i isolasjon, viste det seg at å bruke visuell-treghetsbasert odometri for lokalisering i tandem med GPS var veldig nyttig. Dette gjorde at det var mulig å lokalisere skipet, selv på steder som GPSen hadde problemer. Det ble derfor konkludert med at kamera har lokaliseringsmessig nytteverdi, også på en liten autonom ferge.

Self-localization for autonomous systems is essential for unsupervised operations, and for maneuvering drones, estimation of Visual-Inertial Odometry (VIO) is a viable option for this. In this thesis, it was found that using VIO estimation for self-localization of an autonomous ferry sailing in an urban environment is a much harder task than the aforementioned case of drone flight. This was due to distant landmarks and slow motions. It was deemed necessary to have a high for camresolutioneras and a robust initialization procedure for depth-estimation of features, if the VIO is to be accurate. However, despite showing poor standalone performance, VIO was shown to be very useful when used in tandem with a Global Navigation Satellite System (GNSS) such as GPS. This made it possible to localize the ship in locations where it previously was impossible, e.g. when driving under a bridge. Due to this, it was deemed that camera-based localization adds value also in a maritime setting.