Time-of-Flight (TOF) depth camera for Navigation and Mapping

Abstract

Denne masteroppgaven ser p ̊a bruken av time of flight(ToF) kamera som en visuellsensor til problematikk som lokalisering, kartlegging, kollisjonsunng ̊aelse og andreaktulle datasynsoppgaver. Den starter med en introduksjon til konseptet time offlight, og har som m ̊al ̊a gi en god forst ̊aelse av virkem ̊aten til kameraet. Videres ̊a settes dette i lys av tradisjonell datasyn og SLAM. Oppgaven ser i hovedsakp ̊a bruken av indirekte SLAM, og er testet med ORB SLAM.En mobil robot blir konstruert for testing av et helverdig system. De elektroniskekomponentene og sensorene blir diskutert, og hvilken rolle de har for roboten ogsystemet som helhet. Videre blir det ogs ̊a laget en enkel simulert model i gazebo,hvor b ̊ade robot og kamera blir simulert og testet.Systemet som helhet blir diskutert, og vi ser p ̊a hvordan de ulike modulene iprogramvaren fungerer og hvordan de virker sammen. Hovedfokuset har vært p ̊abruken av ORB SLAM og ToF kamera, men vi ser ogs ̊a p ̊a kollisjonsunng ̊aelse ogsporing i bildet. Til slutt s ̊a ser vi p ̊a testene gjennomført p ̊a de ulike systemenesom er blitt implementert, samt diskuterer disse.Konklusjonen er at time of flight kamera er en verdig sensor til bruk av navigeringog kollisjonsunng ̊aelse, gitt noen forutsetninger. Kameraet har noen begrensingermed tanke p ̊a rekkevidde og ytelsen er preget av hvordan miljøet rundt er opp-bygget. Dersom visse krav er oppylt s ̊a virker det som time of flight er et godtalternativ som en aktiv visuell sensors

his master thesis examines the use of time of flight(ToF) camera as a visualsensor for problems such as localization, mapping, collision avoidance and otherrelevant computer vision tasks. The thesis starts by introducing the concept oftime of flight, and aims to provide a good understanding of the behavior of thecamera. Then we shed some light on traditional computer vision and SLAM withthe use of ToF. The thesis mainly looks at the use of indirect SLAM, and is testedwith ORB SLAM.A mobile robot is designed for testing a holistic system. The electronic compo-nents and sensors are discussed as well as their role for the robot and the systemas a whole. Furthermore, a simple simulated model is also made in the gazebo,where both robot and camera are simulated and tested.The system as a whole is discussed, and we discuss how the various modules inthe software work and how they work together. The main focus has been on theuse of ORB SLAM with ToF camera, but we also look at collision avoidance andtracking of a predefined pattern in the image. Finally a set of tests is carried outon the various systems implemented, and a discussion of these.The conclusion is that the time of flight camera is a worthy sensor for the useof navigation and collision avoidance, given some prerequisites. The camera hassome limitations in terms of range and performance, and it is influenced by theenvironment and the features in it. If certain requirements are met it seems thattime of flight cameras are a good alternative as an active visual sensor