Object Detector Simulation for Certification of Autonomous Surface Vessels

Abstract

Interessen for autonome fartøy i den maritime industrien har økt betydelig. For å sikre sikker drift av disse fartøyene, er sertifisering avgjørende. Dette innebærer omfattende testing av hver enkelt komponent i det autonome systemet, og systemet som helhet. En viktig komponent i et autonomt system er det eksterne situasjonsforståelse systemet, og spesielt målfølgingssystemet innenfor dette systemet. Målfølgingssystemet overvåker omgivelsene ved å koble sammen deteksjoner av objekter over tid og danne spor. Deteksjoner gjøres ved hjelp av sensorer og deteksjonsalgoritmer.

Fullskalatesting av målfølgingssystemene er en betydelig utfordring, grunnet behovet for omfattende mengder testdata. Det er dyrt og resurskrevende å skaffe ekte testdata, og det vil være vanskelig, om ikke umulig, å dekke alle viktige testsituasjoner. En alternativ tilnærming er å skaffe testdata gjennom simuleringer i syntetiske omgivelser. Simuleringer kan prioritere å gjenskape systemet på en nøyaktig måte eller prioritere effektivitet.

Denne oppgaven introduserer en ny og effektiv måte å simulere kamerabaserte objektdeteksjonssystemer i maritime omgivelser for å tilrettelegge for testing av målfølgingssystemer. Det utviklede systemet, Marine Object Detector Simulator (MODSIM), etterligner oppførselen til deteksjonssystemet og introduserer feil i deteksjoner ved hjelp av statistikk og statistiske fordelinger. Denne metoden eliminerer behovet for komplekse simuleringer av underliggende feilkilder. Systemet demonstreres ved å gjennomføre tre ulike simuleringer basert på statistiske parametere. Parameterne er basert på et ekte kamerabasert objektdeteksjonssystem som er trent på syntetisk data under forskjellige vær- og lysforhold.

The potential of Autonomous Surface Vessels (ASV) has captured the attention of the maritime industry. For ASVs to operate safely, it is crucial to certify them. Certification involves testing each component of the autonomous system individually and as a complete system. One such component is the external Situational Awareness (SITAW) system, particularly the tracker within this system. A tracker monitors the environment by connecting detections of objects over time into tracks. Detections are obtained through sensors and object detection algorithms.

Conducting full-scale testing of trackers presents significant challenges due to the need for extensive test data. Obtaining real-life test data is costly and labour-intensive, and covering all significant operational scenarios would be difficult, if not impossible. An alternative approach for obtaining test data is through simulations. Simulations can replicate the system with high accuracy or prioritise computational efficiency. This thesis proposes a novel approach for efficiently simulating camera-based object detector output in maritime environments to enable tracker testing. The designed and developed system, Marine Object Detector Simulator (MODSIM), replicates the output behaviour of the detector and incorporates detector errors through statistics and statistical distributions. This approach eliminates the need for complex simulations of the underlying error causes. The viability of the system is assessed by performing three different simulations using statistical parameters. These parameters are based on a real camera-based object detector trained on a synthetic environment under various detection conditions.