Methods for visualizing spatial and temporal space in marine environments using AR and VR

Abstract

Denne masteroppgaven dekker utviklingen og bruk av verktøy og metoder for integrering av kunstig virkelighet (AR) for nåværendemetoder for kontroll og observasjon av autonome fartøy som AUV-er, ASV-er og UAV-er. Autonome fartøy er i stand til å utføre en bred variasjon av oppgaver med minimal eller ingen menneskelig interaksjon. Imidlertid må fartøyene på et tidspunkt overvåkes, lokaliseres og hentes. For enhver som har forsøkt å finne flytende objekter i havet eller få øye på en drone som flyr i luften, er dette ofte en utfordrende oppgave, selv om man har en omtrentlig idé om hvorman skal se. I dag bruker autonome systemer ulike metoder og systemer for overvåking og kontroll. De fleste av dem er basert på todimensjonale kart på en flat skjerm, som viser fartøyets posisjon og retning, og noen gir også en tredimensjonal visning. Ved bruk av AR blir en annen visningsmetode tilgjengelig for å forbedre brukerens evner uten å hindre dem i å bruke tradisjonellemetoder for sporing og kontroll, ved å la brukeren fortsatt se den virkelige verden. En metode for å koble droneinformasjon fra LSTS-verktøykjeden til Unity er utviklet og implementert, slik at det blir en sømløs og dynamisk tilkobling mellom de to plattformene. Denne metoden er basert på kompatibiliteten mellom IMC-meldingene som brukes av LSTS og ROS (Robotic Operating System), noe som gjør det mulig å oversette relativt sømløst mellom de to plattformene. Når ROS-nettverket speiler IMC-nettverket, kan ROS-meldingene overføres til Unity via TCP, noe som muliggjør trådløs tilkobling mellom simuleringsprogramvaren og ARhodesettet. Ved å bruke data fra GeoNorge er det vist en metode for å trekke ut dybdedata og konvertere det til en 3D-modell som kan brukes i Unity. Denne modellen kan deretter plasseres i full skala under brukeren for å gi en bedre forståelse av utformingen av sjøbunnen i nærheten av brukeren eller fartøyene, ved å vise både den generelle strukturen og dybdeinformasjonen basert på fargen til objektet. I Unity er det utviklet en metode for å gi brukeren en direkte sanntidsvisning av fartøyets posisjon, retning og bane ved å vise en modell omtrentlig i den faktiske posisjonen til fartøyet, samt gi en 3D-modell av området i brukerens hånd for å vise både en mer ovenfra-visning og en tredimensjonal forståelse av fartøyets posisjon i forhold til sjøbunnen. Dennemetoden løser problemet med dårlig sikt mens man er til sjøs og åpner for mer realistiske treningscenarier på land.

This Master Thesis covers the development and use of tools and methods for integrating artificial reality with current methods of controlling and observing autonomous vessels such as AUVs, ASVs, and UAVs. Autonomous vessels are capable of completing a wide variety of tasks with minimal to no human interaction. However, at some point the vessels need to be monitored, found, and collected. To anyone who has attempted to find floating objects in the sea or spot a drone flying overhead, this is often a challenging task, even if you know roughly where to look. Today, autonomous systems use a range of methods and systems for monitoring and control. Most of them are based on 2 dimensional maps on a flat screen, which plots the vessels position and heading, with some also giving a 3D view. Using AR, another method of viewing becomes available to enhance the users capabilities without hindering them from using traditional methods of tracking and control by allowing the user to still see the real world. Amethod to bridge vehicle information from the LSTS toolchain to Unity has been deviced and made, allowing for seamless dynamic connection between the two platforms. This method is based on the compatibility between the IMC-messages used by LSTS, and the ROS Robotic Operating System, which makes it possible to translate relatively seamlessly between the two platforms. Once the ROS network mirrors the IMC network, the ROS messages can be transmitted to Unity via TCP, allowing untethered connection between the simulation software and the AR headset. Using data from GeoNorge, a method has been shown how to extract depth data and converting it into a 3D model useable by Unity. This model can then be placed in full scale underneath the user to give a better understanding of the layout of the seabed near the user or the vehicles by both showing the general structure and depth information based on coloring of the object. In Unity, a method of giving the user a direct real-time view description of the vessels position, heading, and path by both displaying a model in the approximate actual position of the vessel, as well as giving a 3D model of the area in the users hand to show a more top down view as well as a 3D understanding of the vessels position in relation to the seabed. This method solves the problem of poor visibility while at sea, and allows for more realistic training scenarios while on land.