| dc.description.abstract | Det har blitt forsket mye på hvordan man kan gjenkjenne ulike gjenstander i bilder,
men det finnes færre forskningsartikler som forteller hvordan man kan bruke in-
formasjonen fra disse gjenkjennelsene. For at autonome fartøy skal være trygge
og effektive er det viktig at dataen den får inn representerer omgivelsene pres-
ist. Ved hjelp av et system som klarer å ekstrahere informasjon om posisjonen til
båter eller hindringer i omgivelsene øker situasjonsbevisstheten til det autonome
fartøyet. For at det autonome fartøyet skal nå det første nivået av situasjonsbevis-
sthet er det flere aspekter som må implementeres blant annet objekt deteksjon,
sporing og lokalisering.
Prosjektet startet med å visualisere simulert data som ble brukt til å eksper-
imentere og evaluere forskjellige metoder. Visualiseringen ble laget i Blender og
skal imitere en travel havn med båter. I arkitekturen til systemet blir etablerte
metoder for objekt deteksjon og sporing kombinert med grunnleggende metoder
for å estimere dybde, vinkel og deretter posisjon. Det ble trent en YOLOv8 modell
for å oppdage båter i video sekvensene som var generert i Blender. I forbindelse
med treningen av modellen ble det også laget datasett som modellen trente på.
Videre ble sporingsalgoritmen ByteTrack brukt til å spore de ulike deteksjonene
og identifisere dem over tid. Etter at båter har blitt detektert så blir deteksjonene
brukt til å estimere vinkelen, dybden og, til slutt, posisjonen til de ulike båtene.
Disse estimatene har blitt gjort basert på detekteringen fra et stereokameraoppsett
generert i Blender. For å forbedre tolkbarheten av resultatene til situasjonsbevis-
sthetsystemet ble resultatene visualisert i et fugleperspektiv med systemet i sen-
trum. Disse visualiseringene ble brukt til å kvalitativt analysere systemet ende-til-
ende og generere videoer.
Ved bruk av de siste og beste metodene innenfor objekt deteksjon og sporing
samt grunnleggende metoder for vinkel- og dybde estimering har det maritime
situasjonsbevissthet systemet vist en høy grad av nøyaktighet for å representere
sine dynamiske omgivelser. Situasjonsbevissthetsystemet hadde en treffsikkerhet
på 63% med en feilmargin på 6 meter for detekterte objekter for hele sporet.
Derimot, sliter systemet ved komplekse situasjoner som tildekkete og delvis syn-
lige fartøy. Lenkene til sporingsvideoene og situasjonsbevissthetssystemets pre-
diksjoner kan bli funnet i vedleggs seksjonen. | |
| dc.description.abstract | There has been extensive research on how to recognize different objects in images,
but fewer research articles explain how to utilize the information from these detec-
tions. For autonomous vessels to be safe and efficient, it is crucial that the data they
receive accurately represent their surroundings. By employing a system capable of
extracting information about the position of boats or obstacles in the surrounding
environment, the situational awareness of the autonomous vessel is enhanced.
In order to achieve first-degree situational awareness in the autonomous vessel,
several aspects must be implemented, including object detection, tracking, and
localization.
The project began by visualizing simulated data used to experiment and eval-
uate various methods. The visualization was created in Blender and aimed to rep-
licate a busy harbour with boats. In the architecture of the system, established
methods for object detection and tracking were combined with fundamental meth-
ods for estimating depth, bearing, and, subsequently, position. A YOLOv8 model
was trained to detect boats in the video sequences generated in Blender. During
the model’s training, datasets were also created on which the model was trained.
Furthermore, the tracking algorithm ByteTrack was used to track and identify the
various detections over time. After the boats were detected, the detections were
utilized to estimate the angle, depth, and, ultimately, the position of the respective
boats. These estimates were made based on the detection from a stereo camera
setup generated in Blender. In order to enhance the interpretability of the results
of the situational awareness system, the outcomes were visualized from a bird’s-
eye view with the system at the centre. These visualizations were generated to
analyze the end-to-end system and generate videos qualitatively.
By utilizing state-of-the-art methods in object detection and tracking, as well
as fundamental techniques for bearing and depth estimation, the maritime situ-
ational awareness system has demonstrated a high level of accuracy in represent-
ing its dynamic surroundings. The situational awareness system achieved a preci-
sion rate of 63% with an error margin of 6 meters for detected objects throughout
the track. However, the system struggles with complex situations, such as occluded
and partially visible ships. The links to the tracking videos and the situation aware-
ness system’s predictions can be found in the appendix.
i | |
