Visual Close-range Navigation and Docking of Underwater Vehicles Using ArUco Markers

Abstract

Det er økende interesse fra forskningsmiljøer rundt undervannsrobotikk i permanent boende autonome hjelpesystemer for undervannsroboter. Disse systemene vil drastisk senke CO2-fotatrykket og kostnadene til undervannsoperasjoner, og gi sanntids-data til oppdaterte oppdragsmeldinger. Dette vil også senke responstiden til, for eksempel, søk- og redningsoppdrag, undersøkelser og reparasjonsoppdrag under vann. For å realisere slike systemer trengs det en undervannsbase som tilbyr høyhastighets bredbånd kommunikasjon og muligheten til å lade autonome undervannsfartøy (AUVer). Slike hjemmebaser er kjent som undervanns dokkingstasjoner (SDS), og AUVens evne til å samhandle med SDSer beror på et trygt og robust dokking-system. Derfor har denne avhandlingen foreslått, testet og validert et visuelt nært-hold navigasjonssystem og dokkingsystem med en fjernstyrt undervannfarkost (ROV) utstyrt med et monokulært kamera, og ved bruk an en samling av fiduciale ArUco-markører på en SDS. En fullskala experiment ble utført med en ekspedisjon på R/V Gunnerus til en SDS lokalisert i Trondheimsfjorden, 365 meter under overflaten.

Det foreslåtte systemet gir robuste visuell pose-estimering for navigering av ROVen. Den relative posisjonen og orienteringen av en ROV og en SDS er estimert med lineær regresjon av ArUco-markørenes side-piksler. Disse estimatene refererer til hele samlingen av ArUco-markørene, slik at det er mulig å finne relativ posisjon mellom ROVen og markørene så lenge minst en markør er i kameraets synsfelt (FOV). De resulterende visuelle pose estimatene er robuste mot delvis okklusjon, som vist i denne avhandlingens resultater. ArUco-samlingen er bygget opp av markører med fire ulike fysiske størrelser. Derfor viser resultatene fra fullskala eksperimenter stabile og nøyaktig pose- estimater opp til seks meter over SDSen. Resultatene viser mindre enn 10 cm avvik i posisjons-estimater og mindre enn 5 grader avvik i rotasjons-estimater i simulering, når kameraet er tilstrekkelig nær markørene. I fullskala eksperimentet så var de visuelle pose- estimatene mer stabile og inneholdt mindre støy enn navigasjons sensorene som de ble målt mot.

Dokkingsystemet bruker konsepter fra siktlinje (LOS)-veiledning modellen til å genere og bytte mellom veipunkter som tilsvarer en dokking sti. Adaptivt signal benhandlingsmoddeler brukes til å filtrere pose-estimatet, deretter gernererer en tilstandsmaskin relative stier mellom pose estimeringen og ønsket veipunkt. Denne avhandlingen can rapportere tre vellykkede dokkingforsøk med ROVen for fullskala eksperimentet.

There is increased interest by the underwater robotics research community in subsea autonomous residential systems. These systems will drastically lower the CO2 footprint and cost of subsea operations and provide real-time response to updated mission statements. This will also lower the response time, e.g., subsea search and rescue, survey, and repair missions. However, for autonomous residential systems to be a reality, there is a need for a subsea base that provides high-speed broadband communication and the ability to recharge the power supply of the Autonomous underwater vehicles (AUVs). Such home bases are known as subsea docking stations (SDS), and the AUVs’ ability to interface with the SDS relies on a safe and robust docking schema. Thus, this thesis has proposed, tested, and validated a visual close-range navigation and docking system on a remotely operated vehicle (ROV) equipped with a monocular camera setup using a collection of fiducial ArUco markers printed on an SDS. The full-scale experiment was conducted on an expedition cruise with R/V Gunnerus to an SDS located in Trondheimsfjorden, 365 meters below the surface.

The proposed system provides robust visual pose estimations used for navigating the ROV. The relative pose between the ROV and the SDS is estimated by linear regression of the ArUco marker’s side pixels. These estimations reference the entire collection of ArUco markers; thus, as long as at least one marker is in the cameras’ field of view (FOV), it is possible to derive the relative pose between the UUV and the entire collection of ArUco markers. The resulting visual pose estimates are robust against partial occlusion, reflected in this thesis’s results. The ArUco collection is made up of 4 different physical marker sizes. Thus, the results from the full-scale experiment can report stable, accurate pose estimations at up to 6 meters above the SDS. Furthermore, the results report sub 10 cm accuracy for the visual pose estimations and sub 5 [deg] accuracy in heading estimates during the simulation study while the ROV is sufficiently close to the collection of ArUco markers. For the full-scale experiment, the visual pose estimate was more stable and contained less noise than the navigation sensors it was compared to.

The docking system utilizes concepts from the Line of Sight (LOS) Guidance schema to generate and switch between waypoints corresponding to a docking path. Then, adaptive signal processing models filter the pose estimate before a state machine generates relative paths between the estimated pose and the desired waypoint. This thesis reports three successful docking trials with the ROV for the full-scale experiment.