Methods for visualizing spatial and temporal space in marine environments using AR and VR
Master thesis
Date
2023Metadata
Show full item recordCollections
- Institutt for marin teknikk [3613]
Abstract
Denne masteroppgaven dekker utviklingen og bruk av verktøy og metoder for integrering avkunstig virkelighet (AR) for nåværendemetoder for kontroll og observasjon av autonome fartøysom AUV-er, ASV-er og UAV-er. Autonome fartøy er i stand til å utføre en bred variasjon avoppgaver med minimal eller ingen menneskelig interaksjon. Imidlertid må fartøyene på et tidspunktovervåkes, lokaliseres og hentes. For enhver som har forsøkt å finne flytende objekter ihavet eller få øye på en drone som flyr i luften, er dette ofte en utfordrende oppgave, selv omman har en omtrentlig idé om hvorman skal se.I dag bruker autonome systemer ulike metoder og systemer for overvåking og kontroll. De flesteav dem er basert på todimensjonale kart på en flat skjerm, som viser fartøyets posisjon og retning,og noen gir også en tredimensjonal visning. Ved bruk av AR blir en annen visningsmetodetilgjengelig for å forbedre brukerens evner uten å hindre dem i å bruke tradisjonellemetoder forsporing og kontroll, ved å la brukeren fortsatt se den virkelige verden.En metode for å koble droneinformasjon fra LSTS-verktøykjeden til Unity er utviklet og implementert,slik at det blir en sømløs og dynamisk tilkobling mellom de to plattformene. Dennemetoden er basert på kompatibiliteten mellom IMC-meldingene som brukes av LSTS og ROS(Robotic Operating System), noe som gjør det mulig å oversette relativt sømløst mellom de toplattformene. Når ROS-nettverket speiler IMC-nettverket, kan ROS-meldingene overføres tilUnity via TCP, noe som muliggjør trådløs tilkobling mellom simuleringsprogramvaren og ARhodesettet.Ved å bruke data fra GeoNorge er det vist en metode for å trekke ut dybdedata og konverteredet til en 3D-modell som kan brukes i Unity. Denne modellen kan deretter plasseres i full skalaunder brukeren for å gi en bedre forståelse av utformingen av sjøbunnen i nærheten av brukereneller fartøyene, ved å vise både den generelle strukturen og dybdeinformasjonen basert påfargen til objektet.I Unity er det utviklet en metode for å gi brukeren en direkte sanntidsvisning av fartøyets posisjon,retning og bane ved å vise en modell omtrentlig i den faktiske posisjonen til fartøyet,samt gi en 3D-modell av området i brukerens hånd for å vise både en mer ovenfra-visning ogen tredimensjonal forståelse av fartøyets posisjon i forhold til sjøbunnen. Dennemetoden løserproblemet med dårlig sikt mens man er til sjøs og åpner for mer realistiske treningscenarier påland. This Master Thesis covers the development and use of tools and methods for integrating artificialreality with current methods of controlling and observing autonomous vessels such asAUVs, ASVs, and UAVs. Autonomous vessels are capable of completing a wide variety of taskswith minimal to no human interaction. However, at some point the vessels need to be monitored,found, and collected. To anyone who has attempted to find floating objects in the sea orspot a drone flying overhead, this is often a challenging task, even if you know roughly where tolook.Today, autonomous systems use a range of methods and systems for monitoring and control.Most of them are based on 2 dimensional maps on a flat screen, which plots the vessels positionand heading, with some also giving a 3D view. Using AR, another method of viewing becomesavailable to enhance the users capabilities without hindering them from using traditional methodsof tracking and control by allowing the user to still see the real world.Amethod to bridge vehicle information from the LSTS toolchain to Unity has been deviced andmade, allowing for seamless dynamic connection between the two platforms. This method isbased on the compatibility between the IMC-messages used by LSTS, and the ROS Robotic OperatingSystem, which makes it possible to translate relatively seamlessly between the two platforms.Once the ROS network mirrors the IMC network, the ROS messages can be transmittedto Unity via TCP, allowing untethered connection between the simulation software and the ARheadset.Using data from GeoNorge, a method has been shown how to extract depth data and convertingit into a 3D model useable by Unity. This model can then be placed in full scale underneath theuser to give a better understanding of the layout of the seabed near the user or the vehicles byboth showing the general structure and depth information based on coloring of the object.In Unity, a method of giving the user a direct real-time view description of the vessels position,heading, and path by both displaying a model in the approximate actual position of the vessel,as well as giving a 3D model of the area in the users hand to show a more top down view as wellas a 3D understanding of the vessels position in relation to the seabed. This method solves theproblem of poor visibility while at sea, and allows for more realistic training scenarios while onland.