Camera Pose Estimation using Line Segments

Abstract

Denne masteroppgaven har som mål å se nærmere på estimering av kameraposisjon ved å benytte seg av linjer samt bruksområder rundt dette feltet. Posisjonsestimering med linjer bruker korrespondansen mellom linjer gjenkjent i 2D kamerabilde og linjer fra tilgjengelig 3D-modell av omgivelsene. Estimering av posisjon er essensielt ved mobile roboter eller dersom en robot estimerer bevegelser kun ved hjelp av syn.

DLT-Plücker-Lines er metoden som har blitt implementert og testet på datasett fra virkelige scenarioer. Det ble gjort målinger på avviket mellom estimert og virkelige målinger på både translasjon samt orientering. Resultatene ble sammenlignet med tre andre anerkjente metoder og viste seg å være svært gode. En av disse algoritmene ga bedre nøyaktighet, dog bare med små marginer. Det må også påpekes at denne algoritmen er funnet å være en tregere algoritme av andre kilder.

Et annet punkt verdt å bemerke seg fra resultatene er hastigheten til algoritmen. Det virker noe tregt, uten at det har vært spesielt i fokus i denne omgang å gjøre algoritmen så effektiv som mulig. Skulle det derimot være behov for å bruke den i sanntidssystemer må dette fokuseres mer på.

Gjennom oppgaven er det beskrevet metoder som må til for at estimering av kameraposisjon skal være mulig uten bruk av ferdige datasett, hvor en av disse metodene er Line Segment Detector. Denne metoden er også implementert i kode ved hjelp av open-source biblioteket OpenCV for å sammenligne resultater med data fra datasett. Med standardparametrene blir det funnet om lag fem ganger flere linjer i bildene enn det er oppgitt i datasettet, men dette kan enkelt løses ved å manuelt stille parametrene. Til slutt er det foreslått hvordan problemet rundt Simultaneous Localization and Mapping (SLAM) kan bli løst ved hjelp av disse metodene, hvor estimering av kameraposisjon er helt essensielt.

This Master's thesis is aimed to study the camera pose estimation problem through using line segments, Perspective-n-Lines (PnL). Pose estimation is essential for mobile robots to navigate or operate a robot only using vision. Another aspect of the thesis has been to look into use cases and comprehending methods that is necessary for real world cases. Perspective-n-Lines uses line correspondences between the image 2D plane and the available 3D model of the surroundings.

DLT-Plücker-Lines is the method that has been implemented and tested on real world datasets. Experiments were conducted on two different surroundings and both orientation and translation errors were measured along with the speed. The results were then compared to three other state of the art algorithms and the results were very promising. One of the methods had a slightly better accuracy, however it is worth mentioning this method is found to be slower by other sources.

A point worth mentioning from the test is the speed of the algorithm. The results were somewhat worse than expected, but there has not been that much focus on making the algorithm as fast as possible either. However, if being used in a real time system, this has to be looked further into.

Through the thesis there are described methods that are necessary for estimating camera pose without using predescribed datasets, wheres one of these methods are the Line Segment Detector. This method has been implemented in code using the open source library OpenCV and then been compared to the data in the datasets. Using the standard parameterization gave a result of five times as many line segments than were in the datasets, however this can be lowered by changing the parameters from the standards to customized. Finally there is a proposed suggestion for solving the Simultaneous Localization and Mapping (SLAM) problem using the described methods, where camera pose estimation is an essential part.