Self-Calibration of Stereo Vision for Autonomous Ferry

Abstract

Denne rapporten ser på muligheten til å implementere en selvkalibrerende algoritme for et stereo vision system som skal tas i bruk på en autonom ferje. Målet med algoritmen er å erstatte tradisjonelle offline kalibereringsmetoder, som er avhengig av en kalibreringsrig av en kjent størrelse for å fungere, ved å være i stand til å kalibrere stereo kameraene kun ved hjelp av data som blir samlet av kameraene under normal drift. En selvkalibrerende algoritme vil gjøre at stereo systemet trenge mindre vedlikehold.

En kalibreringsmetode blir diskutert, implementeret og vurdert i denne rapporten. Denne metoden prøver å estimere kaliberingsparametrene ved å minimere reprojeksjonsfeilen som oppstår mellom matchende features i tre bilder. To typer constraints er lagt til optimaliseringsproblemet for å hjelpe optimeringsmetoden med å finne riktige parametre, nemlig epipolar og trelinear constraints. Et Extended Kalman Filter er brukt for å optimalisere problemet.

Den trelineare constrainten trenger feature matcher fra tre forskjellige bilder. En trepunktsmatcher er foreslått i denne rapporten. Den finner matcher mellom bildene fra stereoparet og et av bildene fra det neste stereoparet som blir prosessert. Forskjellige featuremetoder are diskutert i rapporten. SIFT, SURF og ORB er vurdert som feature descriptors. FLANN og "brute force matcher" er vurdert som machingmetode.

Autokalibreringsalgoritmen ble testet på ekte data som ble samlet inn i Trondheimskanalen i løpet av prosjektperioden. Resultatene fra testing av algoritmen viste at algoritmen ikke klarte å gjenskape de samme parameterene som en tradisjonell kalibreringsmetode produserte. Noen av svakhetene ved bruk EKF som en optimaliserer blir diskutert.

This thesis explores the possibilities of implementing a self-calibration algorithm for a stereo vision system to be used on an autonomous ferry. The algorithm aims to replace traditional offline calibration methods which are dependent on a calibration rig of known dimensions to function, by being able to perform the calibration on data gather by the cameras during normal operation. An auto-calibrating algorithm would lessen the need for maintenance of the stereo system.

A calibration method is discussed, implemented and evaluated in this report. This method tries to estimate the calibration parameters by minimizing the reprojection error of feature matches between three images. Epipolar and trilinear constraints are introduced to the problem to guide the optimizer towards the solution. An Extended Kalman Filter is used as optimiser.

The trilinear constraints needs three-view matches to be computed. A three-point matcher is proposed. This matcher finds common matches between the two stereo images and one of the images in the next stereo image pair. Different types of feature methods are discussed throughout the report. SIFT, SURF and ORB are evaluated and tested as descriptors. FLANN and brute force are considered as matching methods.

The auto-calibrating algorithm was tested on real data captured in the Trondheim channel during the project period. Results for testing revealed that the algorithm did not manage to reproduce the calibration done using traditional methods, and some of the weakness using EKF as an optimizer on non-linear problems was discussed.