ROVTIO: RObust Visual Thermal Inertial Odometry

Abstract

Denne oppgaven beskriver og evaluerer en algorithme for å estimere bevegelsen til en autonom flyvende robot ved å bruke et vanlig kamera, et varmekamera og treghetssensorer. Ved å bruke både et vanlig kamera og et varmekamera blir algoritmen mer robust mot tilfeller er et av kameraene opplever dårlige forhold. Selv om både vanlige kameraer og varmekameraer er på mange måter samme type sensor er dataene som sensorene gir ikke direkte sammenlignbare. Det gjør det vanskelig å kombinere sensordataene og det er et åpent spørsmål hvordan det er best å utnytte begge. En mulig måte å gjøre dette på er utviklet i dette prosjektet og gjort offentlig som, såvidt forfatteren er kjent med, en av de første implementasjonene av denne typen.

This thesis introduces and evaluates an algorithm to estimate the motion of a flying robot using a visual camera, a thermal camera and inertial sensors. Using both a visual camera and a thermal camera improves robustness to degraded conditions for either of the cameras and the inertial sensors improve robustness to quick motions and complement the cameras. Despite both visual cameras and thermal cameras being camera-type sensors, the data they provide are fundamentally different. This makes the fusion of these two modalities non-trivial and an open problem how to fuse them. A suggested algorithm to solve this problem is developed and released as one of the first open source of its kind, to the best of the authors knowledge.