Utilizing vision-based techniques to aid unmanned cargo ships in the auto-docking scenario

Abstract

Denne masteroppgaven er en del av et større forskningsprosjekt i samarbeid med NTNU, Fosenregionen, Maritime Robotics og SFI Autoship. Målet med forskningen er å binde mindre urbane regioner av Fosen med autonome cargo fartøyer. For at ubemannede marine cargo systemer kan nå det kommersielle markedet, er det mange mulige utfordringer som må identifiseres og løses.

Autonome fartøyer kan enten fortøye til flytende brygger eller til stasjonære kaier. Vi mennesker har evnen til å enkelt kunne justere våre bevegelser til omgivelsene, mens autonome fartøyer har i dag ikke den samme evnen. I tillegg har mennesker evnen til å lokalisere og posisjonere et fartøy til samme lokasjon og utføre vanskelige løfteoperasjoner mellom fartøyet og kaien. For at autonome fartøyer som skal kunne gjøre den samme prosessen uten noen menneskelig medvirkning, kreves det ulike løsninger som sammen gir autonome fartøyer en lignede evne.

Denne oppgaven beskriver en kamera-basert metode som identifiserer objekt-markører på en kai og kalkulerer fartøyets orientering relativt til disse når fartøyet nærmer seg. Markørene gir fartøyet informasjon om dens orientering i seks frihetsgrader relativt til kaien i et lokalt referanse system. Objekt-markørene er uavhengige om det er en flytende brygge eller en stasjonær kai. Metoden gjør at fartøyet kan estimere en lokal presis posisjon av kaien uten bruk av ekstern kommunikasjon til fartøyet. Ettersom kamerasystemet har evnen til å gi informasjon over seks frihetsgrader, kan et slikt system gi autonome fartøyer evner til mer komplekse interaksjoner med en docking stasjon, f.eks. robotarmer på fartøyet som flytter cargo mellom fartøy og en docking stasjon.

For å verifisere posisjonsestimatene fra kamerasystemet ble det brukt realtids kinematiske måling med en lokal basestasjon. Denne metoden ga en realistisk og et presist sammenligningsgrunnlag til posisjonsestimatene fra kamerasystemet mot fartøyets globale posisjoner. Posisjonene fra kamera systemet ble i tillegg Kalman filtert i et forsøk på å oppnå bedre nøyaktighet og ytelse, men også integrert som et steg nærmere for å bli en del av navigasjonssystemet til et autonomt fartøy. Resultatene fra de gjennomførte eksperimentene viste at systemet under gode forhold fungerte godt, men i mer utfordrende situasjoner, f.eks. mørke eller reflektert lys, gikk ytelsen til systemet ned. Til slutt, blir det gitt forslag til forbedringer.

The focus on autonomy in the maritime industry has in recent years increased. Autonomous vessels have the potential to reduce costs and improve safety in the maritime industry. Unmanned Surface Vehicles (USVs) are reaching the commercial market, e.g., Maritime Robotics, SailDrone, and Kongsberg. However, further enchantment of the field requires more product development to make it possible for USVs to perform more complex operations without any human intervention. This project is a collaboration between NTNU, Fosenregionen, Maritime Robotics, and SFI Autoship. The project's grand vision is to connect urban and remote parts of the Fosen region with autonomous cargo boats. Here, the crew and port handling is considered to constitute a significant cost associated with short-range shipping.

The objective of this master thesis is to develop solutions for autonomous cargo handling to connect small remote places, e.g., islands and coastal towns. This master thesis combines theory and practice to verify any predictions. By looking at the theoretical aspects of autonomous cargo handling, in addition to testing, the understanding of the theoretical methods, strengths, and shortcomings is in this project reviewed.

This thesis describes a vision-based approach of using fiducial markers to aid USVs while auto-docking. Recent applications of USVs have shown increased ease and increased efficiency of cargo shipping at precise locations. However, further field enhancement requires operations over long periods, e.g., days or weeks of which the vessel must be precisely docked to be refueled/recharged or for complex cargo handling in transit. Utilizing vision-based techniques allows USVs to orient themselves to their environment from their perspective and may represent an efficient method for such vessels to accurately orientate themselves in the docking scenario. In addition, fiducial markers can give USVs six degrees of freedom orientation relative to a target, allowing more complex interactions with a potential pier or a floating docking station.

We used RTK GNSS with a base station on the pier to validate the estimated camera positions to obtain reliable additional positioning. The experiments show that essential computer vision (CV) techniques using fiducial markers perform well in obtaining accurate outdoor position estimates in optimal conditions. However, in more adverse conditions, the results demonstrated that the performance decreased significantly. Finally, suggestions for further development are given.