Integration between lidar- and camera-based situational awareness and control barrier functions for an autonomous surface vehicle

Abstract

Utviklingen av autonome overlatefarkoster har de siste årene sett betydelig fremgang, og ideen om et hel-autonomt skip er i ferd med å bli en virkelighet. En av de mest kritiske aspektene for å gjøre autonome skip suksessfulle, ligger i evnen til å forsikre sikkerhet. For å trygt kunne operere, må et autonomt skip kunne oppfatte, tolke og tilpasset seg omgivelsene sine til en hver tid. Dette defineres som et fartøys situasjonsforståelse (SF). SF i fremkomstmidler oppnås hovedsakelig gjennom kombinasjonen av forskjellige sensorer. For autonome skip, vil elektro-optiske sensorer som kamera og lidar være gode kandidater.

Denne avhandlingen tar for seg implementasjonen, og, i ettertid, integrasjonen av et lidar- og kamera-basert SF system sammen med kontroll barriere funksjoner (CBFer) for å oppnå trygg bevegelseskontroll av det autonome fartøyet CS Saucer (CSS). CSS er et modellskala overflate fartøy som operer i Marine Kybernetikk laboratoriet (MC lab) ved NTNU. Den ble valgt som eksperimentell platform grunnet fartøyet modularitet i nyttelast, som gjør integrasjon av nye sensorer enkelt. CSS hadde også behov for en oppgradering av kontrollsystemet sitt. Dette omfattet erstatting av gammel maskinvare og implementasjon av en programvare arkitektur basert på Python of Robot Operating System.

SF systemet inkorporerer det konvolusjonelt nevrale nettverket SSDMobilscan for å visuelt gjenkjenne skip i fartøyets nærhet. En projeksjonsmodell for lidaren og kameraet er så blitt avledet, og sensorene geometrisk kalibrert for å oppnå en transformasjon mellom koordinat-systemene. Punktene fra lidaren blir så projektert over på det visuelle gjenkjenningen, og lagt til i en liste med gyldige punkter dersom de er innenfor gjenkjenningens avgrensningsboks. Denne listen er så sent videre til grupperings algoritmen k-means som identifiserer et midtpunkt for hver gruppe i listen. Dette midtpunktet tilsvarer posisjonen til hindringen, og er transformert til NED-rammen.

Dette systemet er så integrert med et manøvrerings kontrollsystem. Systemet tar i bruk CBFer i veilednings modulen for å garantere kollisjonsfrie baner for skipet. Kontrolleren følger et cascade-backstepping design, og frakobler posisjons-kontroll fra gir kontroll. Dersom SF-systemt gjenkjenner hindringer i omgivelsene, vil veiledningsmodulen generere nye trygge baner om CBFene fastslår at den nåværende banen er utrygg.

Alle metoder har blitt tested gjennom simulasjoner og fysiske eksperimenter i MC labben. SF systemet virket til å være effektivt og klarte å gjenkjenne hindringer i omgivelsene, samt nøyaktig gjengi posisjonen deres, innenfor en feilmargin. Systemet var dessverre sensitivt ovenfor feilprojeksjoner som et resultat av dårlig kalibrering. Gjennkjenningsavstanden til Mobilescan var også begrenset til 3 meter, grunnet lav oppløsning i bilder og trening av nettverket. Manøvreringssystemet som en helhet derimot, fungerte tilfredstillende og genererte trygge baner for skipet med opp til to hindringer tilstede. Fartøyet klarte også å følge banene til en akseptabel grad.

The development of fully autonomous surface vessels (ASVs) has seen significant progress in recent years and is at the cusp of becoming an actuality. One of the most critical aspects in making ASVs a success is safety assurance. In order to operate safely, the vessel must be able to perceive, understand and adapt to the environment around it. This is known as situational awareness (SA). Typically, SA is achieved by combining the measurements from several sensors. For an ASV, electro-optical sensors such as camera and lidar are good candidates to enable environmental perception.

This thesis considers the implementation, and subsequent integration, of a lidar- and camera-based SA-system with control barrier functions (CBF) for safe motion control, using the CS Saucer (CSS) as the experimental platform. The CSS is a model-scale vessel operating in the marine cybernetics laboratory at the NTNU. It was chosen for the project due to its modularity in payload configurations, making sensor integration easy. Additionally, the vessel required a control system upgrade. This included replacing hardware and implementing a new control software architecture based on Python and ROS.

The SA system incorporates the convolutional neural network(CNN) SSDMobilescan to achieve visual detections of ships around the vessel. Then a projection model for the camera and lidar was derived, and the sensors were geometrically calibrated to obtain a rigid body transformation between the coordinate frames. Lidar points are projected onto any visual detections and added to a list of valid points if located within the detected bounding box. This list is then parsed to the clustering algorithm k-means, which computes a center point for each cluster present. This center point corresponds to the obstacle position and is converted to the NED-frame using the derived rigid body transformations.

Secondly, a maneuvering control system was integrated with the SA system. The system employs CBFs in the guidance layer to ensure collision-free path following. The controller utilized followed a cascade backstepping design that decoupled heading control from positional control. If the SA system detects any environmental obstacle, the guidance module will generate safe reference values if the current path is deemed unsafe.

All methods were tested through simulations and physical experiments in the MC lab. The SA system proved effective, detecting and accurately estimating the position of obstacles within a certain margin of error. It was, however, sensitive to false point projections due to subpar calibrations. The CNN was also found to have a limited detection range of 3m due to environment and model training. The motion control system as a whole performed satisfactorily, generating safe path signals in the presence of up to two obstacles and following the path to an acceptable degree.