A high fidelity digital twin framework for testing exteroceptive perception of autonomous vessels

Abstract

I fremtiden antas det at verifisering av autonome skip må gjøres ved simuleringsbasert verifisering på grunn av de enorme kostnadene som er involvert med ekte testing. I motsetning til bilindustrien, hvor det finnes åpent tilgjengelige rammeverk for digitale tvillinger, finnes det ingen tilsvarende løsning for den maritime industrien. Det er også få studier som viser om simuleringer kan stoles på, og hvordan de påvirker algoritmer som brukes av autonome agenter slik som målsporere. Denne oppgaven implementerer et digitalt tvilling rammeverk, i stand til å simulere kamera og lidar data med bruk av Unity spillmotoren, for å teste ut en validerings metode for simuleringer, med å sammenligne ett ekte og syntetisk datasett ved hjelp av en Hellinger distanse fra utgangene til en målsporer. Resultatene viser en metrikk i stand til å måle realismen til simuleringen, og som kan brukes for fremtidige forbedringer mot en pålitelig simuleringsbasert verifisering for autonome marinefartøy.

In the future, it is believed that verification of autonomous ships must involve simulation based verification, due to the huge costs involved in real life testings. In contrary to the car industry, where open source digital twin frameworks exists, there is no equivalent solution for the maritime industry. There are also few studies that shows if simulations can be trusted, moreover how they affect algorithms used by autonomous agents such as target trackers. This thesis implements a digital twin framework, capable of simulating camera and lidar data using the Unity game engine, in order to test a simulation verification method, where a real and synthetic dataset with common ground truths are compared using a Hellinger distance on the outputs of a target tracker. The results demonstrate a metric that is capable of measuring fidelity, establishing a quantitative method that can be used for future improvements towards trustworthy simulation based verification for autonomous marine vessels.