Combining active path generation and following with VR in Unity to improve remote control of unmanned surface vessels

Abstract

Fremskritt innen fjernstyring av marine fartøy krever nye løsninger for overvåking og kontroll fra landbaserte kontrollsentre. For å oppnå sikker fjernstyring av et fartøy kreves solid situasjonsforståelse og et kontrollsystem som er intuitivt å bruke. Denne masteroppgaven har som mål å forbedre operatørens brukeropplevelse under fjernstyring av ubemannede overflatefartøy ved å utvikle en plattform som integrerer baneplanlegging og -følging med de nye mulighetene som VR-teknologi tilbyr.

En detaljert litteraturstudie ble gjennomført for å evaluere baneplanleggingsalgoritmer, visualiseringsplattformer, metoder for systemintegrasjon og tilgjengelig laboratorieutstyr. Basert på funnene ble et rammeverk som inkluderer visualisering og interaksjon, banegenerering og kontroll, og kommunikasjon mellom delsystemene systematisk utviklet. Rammeverket ble implementert på skipsmodellen CS Enterprise i den Marine Kybernetikklabben ved NTNU for testing og justering av kontrollparametre. Resultatene av denne testingen ble deretter analysert og diskutert.

Oppgaven resulterte i et system som omfatter to funksjonelle navigeringsmoduser basert på Serret-Frenet-ligningene. Den første modusen muliggjør baneplanlegging og -følging i sanntid, mens den andre lar operatøren generere og låse inn en kompleks bane som fartøyet følger. Rammeverket gjør det mulig å styre fartøyet gjennom VR-spesifikk input, som rotasjon av hode og håndkontroll, i tillegg til bruk av tradisjonelle spillkontrollere.

Bruken av VR for å kontrollere og visualisere fartøyet resulterte i en betydelig mer engasjerende kontrollopplevelse. Ved å kombinere hodebevegelser for små baneendringer og håndbevegelser for store baneendringer legger plattformen til rette for intuitiv generering for banefølgingsalgoritmen. Serret-Frenet-ligningene la et godt grunnlag for indirekte kontroll gjennom kurvaturinput og gjorde det lett å kontrollere fartøyet. Det er imidlertid ytterligere potensial for forbedring av kontrollsystemets ytelse.

Advancements in remotely operated marine vessels demand new solutions for monitoring and control from remote operation centers (ROCs). Achieving safe remote operation of a vessel requires solid situational awareness and an intuitive control system. This thesis aims to enhance the remote operator experience by developing a framework that integrates path generation and following with the new capabilities that virtual reality (VR) technology provides.

A detailed literature review was conducted to evaluate path generation algorithms, visualization platforms, system integration, and lab equipment. Based on the findings, a framework covering visualization and interaction, guidance and control, and communication between the subsystems was systematically developed. The framework was deployed on an unmanned surface vessel (USV) in the Marine Cybernetics Lab (MC-Lab) at NTNU for testing and tuning. The results of this testing were then analyzed and discussed.

The thesis provides a framework that comprises two functional guidance modes based on the Serret-Frenet equations. The first mode enables simultaneous trajectory generation and following in real-time, while the second allows for generating and locking in a complex path for the vessel to follow. The framework enables remote control through VR-specific input, like head movement, as well as traditional monitor-based control.

Utilizing VR to control and visualize the USV resulted in a significantly more immersive experience. The integration of head movement for small trajectory adjustments and con troller rotation for more pronounced alterations offered an efficient means of interacting with the path generation algorithm. The Serret-Frenet-based guidance system provided an effective approach for path generation; however, there is potential to further enhance controller performance.