Multi-sensor multi-target tracking using LIDAR and camera in a harbor environment

Abstract

Andelen ulykker på havet som resultat av menneskelige feil er anslått å være mellom 60 og 90%. I situasjoner der mennesker ofte opptrer ulikt gitt samme utgangspunkt har et autonomt fartøy fordelen av å være forutsigbart, selv etter lengre perioder i drift. Det å kunne tolke omgivelsene på en pålitelig måte for å detektere andre fartøy er et høyst aktuelt tema innen forskning og utvikling av autonomi.

Denne avhandlingen presenterer en implementasjon av en JIPDA metode for å følge flere fartøy gitt målinger fra deteksjoner i kamerabilder og LIDAR. Det er samlet inn data fra ulike testscenario i områder med begrensede muligheter for trygg manøvrering. To båter er utstyrt med GPS-mottakere for logging av posisjon og deltar som en del av scenarioene. GPS-posisjonen sammenlignes med posisjonsestimatene fra målfølgingsalgoritmen for å kvantifisere ytelsen i de gitte scenarioene.

Prosessering av sensordata fra både LIDAR og kamera er beskrevet i detalj. Bildene fra testscenarioene er annotert og vi oppnår en gjennomsnittlig deteksjonsnøyaktighet på mindre enn 25% ved å bruke detekteringsalgoritmer som er forhåndstrent på andre datasett. Ved å trene vår egen algoritme fra grunnen av oppnår vi en deteksjonsnøyaktighet på 95%. Detekteringene i kamerabildene blir konvertert til en retningsmåling som blir prosessert i målfølgingsalgoritmen.

Denne implementasjonen av målfølgingsalgoritmen gir en økt ytelse dersom målene som skal følges er innenfor kameraenes synsfelt. Det vises også til at ytelsen til målfølgingsalgoritmen blir dårligere når målene er utenfor kameraenes synsfelt, ettersom algoritmen antar et 360 graders synsfelt for alle sensorene. Kameramålingene er i stand til å opprettholde et tilfredstillende posisjonsestimat uten hjelp fra LIDAR i rundt 10 sekunder. Etter hvert blir usikkerheten i estimatet stor nok til at flere retningsmålinger blir assosiert med et enkelt posisjonsestimat, noe som fører til at kovariansen vokser raskt og at estimatet blir termintert som følge av for stor usikkerhet. I tilfeller der algoritmen mottar sporadiske målinger fra LIDAR viser denne rapporten at kameramålingene sørger for tidligere initiering og å enklere opprettholde et estimat.

The amount of accidents at sea happening as a consequence of erroneous human action is between 60 and 90%. While human operators often behave differently to the same situations, an autonomous vessel has the advantage of being more predictable even after long periods of operation. Being able to reliably sense the surroundings and detect other vessels to make quantified decisions is a hot research subject within autonomy.

This thesis presents an implementation of a JIPDA-based multi-sensor multi-target tracker where the data from a camera object detector and a LIDAR are fused together. Test data sets are collected for different scenarios in congested waters with limited room for safe navigation. Two targets in these test scenarios are equipped with GPS receivers that are used for validating the accuracy and performance of the tracking system.

The data processing pipelines are described in detail for both the LIDAR and the camera detector. The data from the test sets is annotated and we observe a mean average precision (mAP) of less than 25% when running a pre-trained detector on the set. Training our own object detector from scratch we are able to achieve an mAP of over 95%. The detections in the camera images are extracted as bearing measurements which are used in the tracking pipeline.

Tests show that the current implementation of the tracker increases the performance while the targets are within the camera's field of view. The bearing measurements do however yield lower performance on the data sets when the targets are outside the camera's field of view, as the tracker assumes a full 360 degree field of view from all sensors. The camera is able to maintain a track for a few seconds without the help of a LIDAR, but gets terminated quickly as the uncertainty grows too large. The large uncertainty introduced in the bearing measurements causes multiple bearing measurements to be gated to a single target which adds uncertainty to the estimate. The LIDAR alone has trouble initiating a good track on a small target, but with sparse LIDAR measurements the camera is shown to help with initiating and maintaining the track.