Depth Estimation and Object Detection using Stereo Vision for Autonomous Ferry

Abstract

I denne avhandlingen evaluerers flere methoder for løsing av korrespondanseproblemet og objektdeteksjon ved bruk av stereokamera. For løsing av korrespondanseproblemet ble den lokale metoden Sum of Absolute Differences og den globale metoden Semi-Global Method testet på virkelige data. Metoden Stixel Tesselasjon og Euclidisk Gruppering ble testet innen objektdeteksjon. Arbeidet ble gjort som en del av forskningsprojectet Autoferry, hvor dette prosjektet undersøker mulighetene for bruk av stereokamera på den autonome fergen, milliAmpere.

Autonome kjøretøy som beveger seg i et område delt med andre kjøretøy er avhengige av nøyaktig og robust oppfatning av omgivelsene. Deteksjon og estimering av distanse til objekter på lang avstand er utfordring å få til. Over lengre tid har lidar har vært den vanligste sensoren for logging av omgivelsedata i korte til medium lange avstander. Derimot, så kan lidar-sensorer være dyre, bli sterkt påvirket av værforhold og ha dårlig oppløsning på store avstander. Et alternativ til lidar er stereokamera. Et stereokamera dekker mange av de samme behovene som lidar, men med høyere oppløsning. Ulempen med stereokamera har tradisjonelt sett vært dårligere nøyaktighet og krevende med tanke på regnekraft.

I denne studien er de ulike metodene testet og evaluert gjennom eksperiementer gjort med den autonome fergen, milliAmpere i de faktisk omgivelsene milliAmpere skal operere i. Metodene har blitt sammenlignet med hverandre i tillegg til mot lidar-data. Funnene fra denne studien typer på at stereokamera kan tilby informasjon om omgivielsene på en større rekkevidde enn lidar, med en nøyaktighet som er sammenlignbar med lidar. Stereokamera kan derfor være en nyttig sensor ombord på milliAmpere. Derimot var kjøretiden til de forskjellige objektdeteksjons metodene ikke optimal, og videre arbeid bør fokusere på å redusere kjøretiden.

In this project several methods for solving the correspondence problem and object detection in stereo vision are compared and evaluated. In regards to the correspondence problem, the local correspondence method Sum of Absolute Differences and the global method Semi-Global Method were tested on real data. Stixel Tesselation and Euclidean Clustering were tested in regards to object detection. This project was conducted as a part of the research project at NTNU called Autoferry, and provide improved knowledge on the use of stereo vision on the autonomous ferry, milliAmpere.

Autonomous vehicles that move in a space shared with other vehicles depend on accurate and reliable perception data. Detecting and estimating distance to objects far away is a difficult task. Lidar has been the "go-to" sensor for high frequency 3D-perception in short to medium ranges. However, these sensors can be expensive, have poor resolution and can be weather sensitive. Stereo cameras serve many of the same purposes with higher resolution, but often poorer accuracy.

To address this, I tested and evaluated different stereo vision algorithms on real data from milliAmpere. The results from these tests has been compared against each other as well as against lidar data to see which is best in terms of accuracy, detection and run time. The findings of this study show that stereo vision can provide valuable information to autonomous vehicles at greater distances than lidar, and that the accuracy is comparable to what the lidar provides. A stereo camera therefore seems like a good sensor for use on milliAmpere. However, the run time of the methods presented are not optimal, and future research should focus on reducing run time.