An Approach to First-Level Situation Awareness for Autonomous Surface Vehicles
Master thesis
Permanent lenke
https://hdl.handle.net/11250/3097881Utgivelsesdato
2023Metadata
Vis full innførselSamlinger
Sammendrag
Det har blitt forsket mye på hvordan man kan gjenkjenne ulike gjenstander i bilder,men det finnes færre forskningsartikler som forteller hvordan man kan bruke in-formasjonen fra disse gjenkjennelsene. For at autonome fartøy skal være tryggeog effektive er det viktig at dataen den får inn representerer omgivelsene pres-ist. Ved hjelp av et system som klarer å ekstrahere informasjon om posisjonen tilbåter eller hindringer i omgivelsene øker situasjonsbevisstheten til det autonomefartøyet. For at det autonome fartøyet skal nå det første nivået av situasjonsbevis-sthet er det flere aspekter som må implementeres blant annet objekt deteksjon,sporing og lokalisering.
Prosjektet startet med å visualisere simulert data som ble brukt til å eksper-imentere og evaluere forskjellige metoder. Visualiseringen ble laget i Blender ogskal imitere en travel havn med båter. I arkitekturen til systemet blir etablertemetoder for objekt deteksjon og sporing kombinert med grunnleggende metoderfor å estimere dybde, vinkel og deretter posisjon. Det ble trent en YOLOv8 modellfor å oppdage båter i video sekvensene som var generert i Blender. I forbindelsemed treningen av modellen ble det også laget datasett som modellen trente på.Videre ble sporingsalgoritmen ByteTrack brukt til å spore de ulike deteksjoneneog identifisere dem over tid. Etter at båter har blitt detektert så blir deteksjonenebrukt til å estimere vinkelen, dybden og, til slutt, posisjonen til de ulike båtene.Disse estimatene har blitt gjort basert på detekteringen fra et stereokameraoppsettgenerert i Blender. For å forbedre tolkbarheten av resultatene til situasjonsbevis-sthetsystemet ble resultatene visualisert i et fugleperspektiv med systemet i sen-trum. Disse visualiseringene ble brukt til å kvalitativt analysere systemet ende-til-ende og generere videoer.
Ved bruk av de siste og beste metodene innenfor objekt deteksjon og sporingsamt grunnleggende metoder for vinkel- og dybde estimering har det maritimesituasjonsbevissthet systemet vist en høy grad av nøyaktighet for å representeresine dynamiske omgivelser. Situasjonsbevissthetsystemet hadde en treffsikkerhetpå 63% med en feilmargin på 6 meter for detekterte objekter for hele sporet.Derimot, sliter systemet ved komplekse situasjoner som tildekkete og delvis syn-lige fartøy. Lenkene til sporingsvideoene og situasjonsbevissthetssystemets pre-diksjoner kan bli funnet i vedleggs seksjonen. There has been extensive research on how to recognize different objects in images,but fewer research articles explain how to utilize the information from these detec-tions. For autonomous vessels to be safe and efficient, it is crucial that the data theyreceive accurately represent their surroundings. By employing a system capable ofextracting information about the position of boats or obstacles in the surroundingenvironment, the situational awareness of the autonomous vessel is enhanced.In order to achieve first-degree situational awareness in the autonomous vessel,several aspects must be implemented, including object detection, tracking, andlocalization.
The project began by visualizing simulated data used to experiment and eval-uate various methods. The visualization was created in Blender and aimed to rep-licate a busy harbour with boats. In the architecture of the system, establishedmethods for object detection and tracking were combined with fundamental meth-ods for estimating depth, bearing, and, subsequently, position. A YOLOv8 modelwas trained to detect boats in the video sequences generated in Blender. Duringthe model’s training, datasets were also created on which the model was trained.Furthermore, the tracking algorithm ByteTrack was used to track and identify thevarious detections over time. After the boats were detected, the detections wereutilized to estimate the angle, depth, and, ultimately, the position of the respectiveboats. These estimates were made based on the detection from a stereo camerasetup generated in Blender. In order to enhance the interpretability of the resultsof the situational awareness system, the outcomes were visualized from a bird’s-eye view with the system at the centre. These visualizations were generated toanalyze the end-to-end system and generate videos qualitatively.
By utilizing state-of-the-art methods in object detection and tracking, as wellas fundamental techniques for bearing and depth estimation, the maritime situ-ational awareness system has demonstrated a high level of accuracy in represent-ing its dynamic surroundings. The situational awareness system achieved a preci-sion rate of 63% with an error margin of 6 meters for detected objects throughoutthe track. However, the system struggles with complex situations, such as occludedand partially visible ships. The links to the tracking videos and the situation aware-ness system’s predictions can be found in the appendix.i