Direct Methods for Detecting and Tracking Objects from Visual Images from Moving Cameras in a Marine Environment

Abstract

Denne avhandlingen undersøker bruken av optisk flyt for objektdeteksjon og posisjonsestimering innenfor konteksten av omgivelsene til den autonome fergen milliAmpere 1. Nåværende metoder for posisjonsestimering er ofte basert på tilstandsestimeringsfiltre og sensormålinger. Metodene brukt i denne avhandlingen gir nøyaktige estimater ved å spore flere punkter på interessante objekter. Datasettet er samlet av milliAmpere 1 i Trondheimfjorden i Norge, hvor fem ulike bilde- sekvenser er brukt for testing.

Ved å sammenligne en en av de ledene dyp læring deteksjonsmodellene, YOLOv8, og den optiske flytmetoden Gunnar-Farnebeck (GF) for objektdeteksjon, er det funnet at YOLOv8 konsekvent yter bedre enn den optisk flyt baserte metoden både i generalisering og kjøretid, og klarer å gi mer nøyaktige masker rundt objektene. Dette er avgjørende for gode estimater av objektets posisjon og giringsrate. På den andre siden kan optisk flyt bestemme om målet er i bevegelse.

Rapporten utforsker videre bruken av direkte optisk flyt metoder, spesielt sporing med Lucas-Kanade (LK), kombinert med Structure from Motion (SFM) for 3D-rekonstruksjon av objekter isolert fra bakgrunnen i et bilde. Resultatene er lovende når det gjelder nøyaktig estimering av giringsrate og posisjon, sammenlignet med Global Navigation Satellite System (GNSS) målinger. Estimatene er vist avhengig av forskjellige faktorer, inkludert objektets nærhet, klarheten av detaljene på objektet, hvordan punktene dekker objektet, og antall bilder som brukes til rekonstruksjon.

Resultatene antyder at sporing og posisjon- og orienteringsestimering med LK og SFM har betydelig potensial for å forbedre kontrollsystemer for autonome fartøy. Imidlertid understrekes behovet for videre forskning og grundig testing før disse metodene kan implementeres i virkelige scenarier. Selv om flere utfordringer gjenstår, hovedsakelig knyttet til presisjon, robusthet og punktdistribusjon på objektet, legger denne oppgaven et grunnlag for videre utforskning av anvendelsen av optisk flyt i autonome navigasjonssystemer.

This thesis investigates the use of optical flow for object detection and pose estimation in the context of the surroundings of the autonomous ferry milliAmpere 1. Current methods for pose estimation are often based on state estimation filters and sensor measurements. The methods used in this thesis provide accurate estimates by tracking multiple points on the objects of interest. The data set is recorded by milliAmpere 1 in Trondheimfjorden in Norway, where five image sequences are used for testing.

By comparing a state-of-the-art deep learning detection model, YOLOv8, and the optical flow method Gunnar-Farnebeck (GF) for object detection, it is found that YOLOv8 consistently outperforms the optical flow based method in both generalization and runtime, and manage to give more accurate masks. This is crucial for good estimates of the pose of the object of interest. Conversely, optical flow is able to determine whether the target is moving.

The thesis further explores the utilization of direct optical flow techniques, specifically tracking with Lucas-Kanade (LK), combined with Structure from Motion (SFM), for 3D reconstruction of objects isolated from a scene in an image. The results are promising in terms of accurately estimating relative pose, including yaw rate and position when compared with Global Navigation Satellite System (GNSS) measurements. These pose estimates rely on various factors, such as object proximity, the clarity of the features on the object, how the points cover the object, and the number of images used for reconstruction.

The obtained results suggest that tracking and pose estimation with LK and SFM have significant potential to improve control systems for autonomous vessels. However, the need for additional research and rigorous testing is emphasized before these methodologies can be implemented in real-world scenarios. Although several challenges remain, primarily related to precision, robustness, and the distribution of points on an object, this work provides a basis for further exploration into the usage of optical flow in autonomous navigation systems.