Thermal VSLAM for autonomous ferry

Abstract

Oppgaven presenterer en oversikt over ORB-SLAM1, 2 og 3, og viser implementering og tilpasninger av ORB-SLAM2 og ORB-SLAM3 for termisk video. Termisk VSLAM på autonome fartøy er motivert av et ønske om å gjøre navigasjonen mer robust for eksempel i natt, tåke eller miljøer uten GNSS-tilgang, i håp om å gi økt sikkerhet og bedre generell situasjonsforståelse. Imidlertid har det ikke vært publisert mye forskning i litteraturen om tilpasning av VSLAM-metoder laget for video i det synlige spektrumet til termisk video, men istedet noe forskning på termisk-spesifikke SLAM-metoder. For å undersøke muligheten for dette ble ORB-SLAM2 implementert med termisk video i forfatternes spesialiseringsprosjekt, og basert på resultatene fra spesialiseringsprosjektet ble det besluttet å se på tre viktige områder for forbedring: initialisering, stedsgjenkjenning og sporing. Fokus ble lagt på å generere et vokabular (ordforråd) basert på termiske bilder i et forsøk på å forbedre stedsgjenkjenning. I tillegg til generering og testing av forskjellige vokabularer ble forskjellige kameraparametre testet, og en enkel løsning som utelater radiell og tangentiell forvrengning gav best resultat. Nylig publiserte ORB-SLAM3 (2020) ble implementert, både med og uten IMU, med fomål å forbedre ytelsen ytterligere med hensyn til initialisering, stedgjenkjenning og sporing med termisk video. Det innebygde ORB-SLAM-vokabularet ble erstattet med nye vokabularer trent på termiskbilder tatt både innendørs og utendørs. De nye vokabularene basert på termiske bilder oppnådde imidlertid bare tilsvarende ytelse på termisk video som vokabularet som følger med ORB-SLAM og er basert på bilder i det visuelle spektrumet. På våre data viste ORB-SLAM3 en forbedring med muligheten til å bruke multikart i tilfeller der sporingen gikk tapt, noe som muliggjorde fortsatt kartlegging i vanskelige situasjoner. I et realistisk casestudie for en ferge presterte imidlertid ORB-SLAM2 bedre med hensyn på å holde problemet begrenset og ikke skape for mange nye nøkkelbilder. ORB-SLAM2 presterte bra i en realistisk casestudie. Håpet er at disse funnene kan være nyttige mot målet om å oppnå navigering ved hjelp av multi-sensorfusjon med andre sensorer som lidar, radar og visuelt-spektrum-kamera.

The thesis presents an overview of ORB-SLAM1, 2 and 3, and shows the implementation and adaptations to ORB-SLAM2 and ORB-SLAM3 for thermal video. Thermal VSLAM on autonomous vehicles is motivated by making the navigation more robust for example in nighttime, fog, or in GNSS-denied environments, resulting in better overall situational awareness and increased safety. However, in the literature there has not been much research related to the adaptation of visual spectrum based VSLAM methods with thermal video, but rather with thermal video specific SLAM methods. To investigate its feasibility, ORB-SLAM2 was implemented with thermal video in the authors' specialization project, and based on results from the specialization project it was decided to look at three key areas for improvement: initialization, place recognition and tracking. A focus was put on creation of a vocabulary based on thermal images in an attempt to improve place recognition. In addition to creation and testing of various vocabularies, different camera parameters were tested, and a simple solution leaving out radial and tangential distortion showed the best results. The newly released ORB-SLAM3 (2020) was implemented, both with and without IMU, with the goal to further improve performance in regards to initialization, place recognition and tracking with thermal video. The built-in ORB-SLAM vocabulary was replaced with new vocabularies trained on the thermal images taken both from indoor and outdoor. The new vocabularies based on thermal images however only achieved similar performance on thermal video as the vocabulary bundled with ORB-SLAM based on visual spectrum images. On our data, ORB-SLAM3 showed an improvement with the ability to use multi-maps in cases where track was lost, allowing continued mapping in difficult situations. However, in a realistic case study for a ferry, ORB-SLAM2 performed better in regards of keeping the problem bounded and not creating too many new keyframes. ORB-SLAM2 performed well in a realistic case study. The hope is that these findings can be useful towards the goal of achieving navigation using multi sensor fusion with other sensors like lidar, radar and optical camera.