Implementation and evaluation of 16-bit thermal-inertial odometry using non-linear factor graphs

Abstract

Denne oppgaven presenterer adapsjonen og evalueringen av algoritmen Semi-direct Visual Odometry (SVO) til å bruke 16-biters termiske bilder, samt implementasjonen av en faktorgraf-basert backend. Varmekamera kan passivt observere omgivelsene, selv i helt mørke forhold og i tilstedeværelsen av støv og røyk. Dette gjør dem til attraktive alternativer til vanlige kamera til bruk i visuell-treghets-odometri (VIO). De fremste VIO-algoritmene er derimot designet for bruk med 8-bitersbilder og kan ikke utnytte radiometriske termiske bilders større datadybde. Av den grunn var SVO endret til å støtte 16-bitersbilder til bruk i matching, deteksjon av kjennemerker på histogram-normaliserte bilder og deteksjon direkte på 16-bitersbilder. Det modifiserte metoden er kalt Semi-direct Thermal Inertial Odometry (STIO), og ble evaluert på tre datasett fra ulike omgivelser. Den faktorgraf-baserte backenden er basert på GTSAM-biblioteket. Det ble funnet at STIO var særdeles avhengig av hvilke parametere som ble brukt. Spesielt hadde størrelsen på rutene i deteksjonsrutenettet og FAST-grensen stor betydning fordi disse var tett knyttet til antallet kjennemerker som ble brukt. Deteksjon på histogram-normaliserte bilder ga kjennemerker som lokalt sto mer ut og kunne derfor bli matchet med større treffsikkerhet. Overraskende nok gjorde VIO-utvidelsen av SVO som kun brukte 8-biters histogram-normaliserte bilder det vel så godt, om ikke bedre, enn 16-bitersversjonene. Dette antas å skylles at 8-bitersversjonen fant flere kant-kjennemerker i tillegg til de samme hjørnene. GTSAM-backenden divergerte fort og kom aldri i en fungerende tilstand på grunn av manglende informasjon som resultat av programmeringsfeil. Forfatteren fant derimot ikke årsaken til feilen til tross for stor feilsøkingsinnsats. Et forenklet oppstartssystem for å finne biasene i treghetssensoren var vellykket gjennomført, selv om akselerometerbiasene ikke konvergerte til den sanne verdien. Fremtidig arbeid inkluderer å teste ut adaptiv histogram-normalisering, sammenlikning med semi-dense algoritmer som DSO, og å fikse GTSAM-backenden.

This thesis presents the adaptation and evaluation of the Semi-direct Visual Odometry (SVO) algorithm to use 16-bit thermal images and the implementation of a factor graph-based back-end. Thermal cameras can passively sense the environment, even in complete darkness and in the presence of obscurants like dust or smoke. This makes it an attractive alternative modality to visible-light cameras for visual-inertial odometry applications. However, state-of-the-art VIO algorithms are designed to work with 8-bit images and cannot directly take advantage of the higher bit-depths that radiometric thermal images provide. Therefore, SVO was modified to support 16-bit matching, feature detection on histogram equalized thermal images, and 16-bit feature detection. The method is dubbed Semi-direct Thermal Inertial Odometry (STIO) and was evaluated on three datasets recorded in different environments. The factor graph-based back-end was implemented using the GTSAM library. STIO was found to be heavily dependent on the parameters, especially on the grid cell size and the FAST threshold, because these directly affected the number of tracked features. Feature detection on histogram equalized images gave features that were more locally distinct and could therefore be tracked with greater reliability. Interestingly, the VIO-extension of SVO run solely on 8-bit histogram equalized images performed surprisingly well, and often outperformed the 16-bit STIO. This was because the 8-bit version detected more edgelet features in addition to all the same corner features. The GTSAM back-end quickly diverged and did not end up in working conditions because of missing information due to programming errors. The author was unable to identify the specific bugs. A simplified initialization system for finding the IMU biases was successfully implemented, although the acceleration biases were found to not converge to the ground truth. Future work includes implementing and evaluating adaptive histogram equalization, comparison against semi-dense methods, and fixing the GTSAM back-end.