Laying The Foundation For an Intelligence-Powered Extendable Digital Twin Framework For Autonomous Sea Vessels

Abstract

Mennesker er hovedårsaken til at det oppstår ulykker til sjøs. Det er derfor ønskelig i noen tilfeller å ta i bruk autonome kjøretøy som er i stand til å fungere uten at mennesker må blande seg inn. Et rammeverk for visualisering og utviklinger av en digital tvilling og RL-algoritmer blir skapt i spillmotoren Unity. En digital representasjon av Trondheimsfjorden blir skapt, der vind og regn blir simulert ved hjelp av sanntidsdata fra ekte målinger. Båter som sender AIS-signaler i området blir også tatt i bruk for å skape digitale representasjoner av hvert skip. VR blir også implementert i prosjektet, noe som gjør virtuell og vanlig visualisering mulig. I tillegg så er en dynamisk modell av båten Milliampere 2 implementert på en nøyaktig måte. Denne dynamiske modellen blir påvvirket av både vind og thrusterne som er montert under båten. Siden den ekte båten skal ha en LIDAR, så blir en strålekaster brukt i prosjektet for å etterligne LIDARen. En algoritme blir brukt for å slå sammen verdiene den beregner og gjør at dimensjonene blir redusert fra 220 til 9. Dette blir brukt i en RL-algoritme for å kontrollere båten. En RL-algoritme som bruker PPO blir trent i Unity, der målet er å følge en gitt sti. Den skal gjøre dette så godt som mulig mens den unngår hindringer som andre båter og land. Etter treningen ble den gitt over 100 forsøk på å fullføre fire baner med økende vanskelighetsgrad, der to av de inneholder hindringer. Båten klarte de letteste banene 100% av forsøkene, men den fullførte bare 17% av gangene på de to banene med hindringer. Selv om fullføringsraten var lav på banene med hindringer, så er det foreslått at noen små endringer kan forbedre resultatene betydelig. Et sikkerhetsfilter kan være en god løsning for å ytterliggere forbedre sikkerheten slik at båten aldri er i fare. Video: https://youtu.be/h8PAtYfLLOc

Humans are the main cause of accidents at sea. It is therefore desirable in some cases to create autonomous vehicles capable of operating without any human intervention. A framework for visualisation and development of a digital twin and RL algorithms is developed in Unity Game Engine. A digital representation of the Trondheim Fjord terrain is created, where wind and rain is implemented by using real-time real world values for the area. Boats emitting AIS signals in the area are also used to create digital representations of the ships. Virtual Reality was implemented in the project which allows for both normal windowed visualisation and virtual visualisation. In addition, the Milliampere 2 boat is represented accurately in the project as a virtual object dictated by a flexible dynamical model. This dynamical model is affected by external forces like wind and two thrusters attached to the bottom of the vessel. As the real boat should have a LIDAR, a ray casting sensor array is used in the project to mimic its real counterpart. A pooling algorithm for the sensor readings is used to reduce the dimensions in the sensor from 220 to 9. This is used in an RL algorithm for controlling the boat. A RL algorithm using PPO is trained inside of Unity, where the goal is to follow a given path as closely as possible while avoiding obstacles like land and other boats. After RL training, the boat was given over 100 attempts to complete four paths of varying degree of difficulty. The boat had a 100% success rate on both of the paths containing no obstacles. This success rate dropped to 17% when obstacles were introduced. While the success rate was low when obstacles were introduced, it is suggested that minor changes in Unity will improve future training. A safety filter could be an good addition to ensure the RL model will not act dangerously. Video: https://youtu.be/h8PAtYfLLOc