Development of a Digital Twin for the Marine Cybernetics Lab: 3D visualization and simulation, online monitoring, and remote control

Abstract

Fysisk testing av et autonomt system kan være dyrt og tidskrevende. Dette kan motvirkes ved å lage digitale tvillinger av fartøyene som kan testes i simulatorer. MC-laben (Marine Cybernetics lab) på Tyholt har forskjellige fartøy som brukes til å teste ut kontrollsystemer og gjennomføre hydrodynamiske tester. Denne oppgaven tar for seg utviklingen av en digital tvilling av MC-Laben med fjernkontroll funksjoner.

Den digitale tvillingen består av 3D-modeller (i Unity) av MC-Laben og fartøyene; CS Enterprise 1 (CSEI), CS Saucer (CSS) og CS Arctic Drillship (CSAD). Bevegelsen til 3D modellene er koblet til simulatorer i ROS som kjører på en annen maskin. Dette gjør at 2D-simulatorer i ROS kan visualiseres i et 3D-miljø. Virtuelle sensorer som light detection and ranging (LiDAR) og kamera er festet på de virtuelle fartøyene og sender ut sensordata fra det virtuelle 3D-miljøet i Unity.

Fjernkontrollsystemet består av to hoveddeler; fjernstyring og overvåking. Fjernstyring lar en operatør kontrollere de fysiske fartøyene på MC-laben fra en annen lokasjon. Dette kan enten være ved å styre dem manuelt med en joystick eller sende koordinater til en DP-kontroller. Fjernovervåkingsfunksjonen gjør at det fysiske fartøyet kan visualiseres i 3D-miljøet. Ved å kombinere dette åpnes muligheten for å gjøre hybridtester med virtuelle sensordata med virtuelle hindringer som ikke er tilstede i det fysiske laboratoriet, og samtidig kontrollere det fysiske fartøyet.

Verten for fjernkontrollsystemet er OS-laben som er koblet til det lokale nettverket på MC laben ved hjelp av et Meraki SD-WAN. Data, som joystick-inputen eller odometridataene fra det fysiske fartøyet, sendes mellom laboratoriene ved hjelp av UDP-meldinger. Dataen blir formatert slik at datastørrelsen er liten nok til å kunne sende og motta dem med høy frekvens.

Disse systemene ble testet gjennom både simuleringer og fysiske eksperimenter i MC-Laben og OS-Laben. Systemene viste seg for å være vellykket med å representere det fysiske laboratoriet i et virtuelt miljø i sanntid. Effektiviteten og nøyaktigheten til systemet har noen begrensninger på grunn av maskinvarebegrensninger, hovedsakelig i fjernovervåkingsmodulen. Systemet gir imidlertid akseptable feilmarginer med maskinvaren til stede ved MC-laboratoriet og OS-laben på tidspunktet denne oppgaven blir utgitt (våren 2023)

Physical testing of an autonomous system can be expensive and time-consuming. How ever, this issue can be mitigated by creating digital twins (DT) of the vessels, which can be altered and tested in simulators. The Marine Cybernetics lab (MC-lab) at Tyholt contains different vessels that are used to test out motion control systems and perform hydrodynamic tests. This thesis focuses on the development of a DT of the MC-Lab with remote control center (RCC) functions.

The DT comprises 3D models (in Unity) of the MC-Lab and the cybership vessels: CS Enterprise 1 (CSEI), CS Saucer (CSS), and CS Arctic Drillship (CSAD). The motion of these 3D models are connected to simulators in ROS, which run on a seperate machine. This enables visualization of 2D ROS simulators in a 3D environment. Virtual sensors, such as light detection and ranging (LiDAR) and camera, are attached on the virtual vessels, providing sensor data from the virtual 3D environment in Unity.

The RCC function consists of two main components; remote control and monitoring. Remote control allows an operator to control the physical vessels at the MC-Lab from a remote location. This can be done either by manual control using joysticks or by sending desired waypoints for a DP controller. The remote monitoring function allows visualization of the physical vessel in the 3D environment. This combination opens up the possibility of conducting hybrid tests with virtual sensor data and virtual obstacles that are not present in the physical lab, while simultaneously controlling the physical vessel.

The RCC is hosted at the OS-Lab which is connected to the local network at the MC-Lab using a Meraki SD-WAN. Data, such as joystick inputs or odometry data from the physical vessel, is transmitted between the labs using UDP messages. The data is formatted to ensure its size is small enough to be sent and received at a high frequency.

These systems were tested through simulations and physical experiments in both the MC Lab and OS-Lab. The systems proved to be successful in representing the physical lab in a virtual environment in real-time. However, the efficiency and accuracy of the system have some limitations due to hardware restrictions, particularly in the remote monitoring module. Nevertheless, considering the hardware available at the MC-Lab and OS-Lab at the time of publishing this thesis (spring 2023), the system yields acceptable error margins.