| dc.description.abstract | Denne masteroppgaven dekker utviklingen og bruk av verktøy og metoder for integrering av
kunstig virkelighet (AR) for nåværendemetoder for kontroll og observasjon av autonome fartøy
som AUV-er, ASV-er og UAV-er. Autonome fartøy er i stand til å utføre en bred variasjon av
oppgaver med minimal eller ingen menneskelig interaksjon. Imidlertid må fartøyene på et tidspunkt
overvåkes, lokaliseres og hentes. For enhver som har forsøkt å finne flytende objekter i
havet eller få øye på en drone som flyr i luften, er dette ofte en utfordrende oppgave, selv om
man har en omtrentlig idé om hvorman skal se.
I dag bruker autonome systemer ulike metoder og systemer for overvåking og kontroll. De fleste
av dem er basert på todimensjonale kart på en flat skjerm, som viser fartøyets posisjon og retning,
og noen gir også en tredimensjonal visning. Ved bruk av AR blir en annen visningsmetode
tilgjengelig for å forbedre brukerens evner uten å hindre dem i å bruke tradisjonellemetoder for
sporing og kontroll, ved å la brukeren fortsatt se den virkelige verden.
En metode for å koble droneinformasjon fra LSTS-verktøykjeden til Unity er utviklet og implementert,
slik at det blir en sømløs og dynamisk tilkobling mellom de to plattformene. Denne
metoden er basert på kompatibiliteten mellom IMC-meldingene som brukes av LSTS og ROS
(Robotic Operating System), noe som gjør det mulig å oversette relativt sømløst mellom de to
plattformene. Når ROS-nettverket speiler IMC-nettverket, kan ROS-meldingene overføres til
Unity via TCP, noe som muliggjør trådløs tilkobling mellom simuleringsprogramvaren og ARhodesettet.
Ved å bruke data fra GeoNorge er det vist en metode for å trekke ut dybdedata og konvertere
det til en 3D-modell som kan brukes i Unity. Denne modellen kan deretter plasseres i full skala
under brukeren for å gi en bedre forståelse av utformingen av sjøbunnen i nærheten av brukeren
eller fartøyene, ved å vise både den generelle strukturen og dybdeinformasjonen basert på
fargen til objektet.
I Unity er det utviklet en metode for å gi brukeren en direkte sanntidsvisning av fartøyets posisjon,
retning og bane ved å vise en modell omtrentlig i den faktiske posisjonen til fartøyet,
samt gi en 3D-modell av området i brukerens hånd for å vise både en mer ovenfra-visning og
en tredimensjonal forståelse av fartøyets posisjon i forhold til sjøbunnen. Dennemetoden løser
problemet med dårlig sikt mens man er til sjøs og åpner for mer realistiske treningscenarier på
land. | |
| dc.description.abstract | This Master Thesis covers the development and use of tools and methods for integrating artificial
reality with current methods of controlling and observing autonomous vessels such as
AUVs, ASVs, and UAVs. Autonomous vessels are capable of completing a wide variety of tasks
with minimal to no human interaction. However, at some point the vessels need to be monitored,
found, and collected. To anyone who has attempted to find floating objects in the sea or
spot a drone flying overhead, this is often a challenging task, even if you know roughly where to
look.
Today, autonomous systems use a range of methods and systems for monitoring and control.
Most of them are based on 2 dimensional maps on a flat screen, which plots the vessels position
and heading, with some also giving a 3D view. Using AR, another method of viewing becomes
available to enhance the users capabilities without hindering them from using traditional methods
of tracking and control by allowing the user to still see the real world.
Amethod to bridge vehicle information from the LSTS toolchain to Unity has been deviced and
made, allowing for seamless dynamic connection between the two platforms. This method is
based on the compatibility between the IMC-messages used by LSTS, and the ROS Robotic Operating
System, which makes it possible to translate relatively seamlessly between the two platforms.
Once the ROS network mirrors the IMC network, the ROS messages can be transmitted
to Unity via TCP, allowing untethered connection between the simulation software and the AR
headset.
Using data from GeoNorge, a method has been shown how to extract depth data and converting
it into a 3D model useable by Unity. This model can then be placed in full scale underneath the
user to give a better understanding of the layout of the seabed near the user or the vehicles by
both showing the general structure and depth information based on coloring of the object.
In Unity, a method of giving the user a direct real-time view description of the vessels position,
heading, and path by both displaying a model in the approximate actual position of the vessel,
as well as giving a 3D model of the area in the users hand to show a more top down view as well
as a 3D understanding of the vessels position in relation to the seabed. This method solves the
problem of poor visibility while at sea, and allows for more realistic training scenarios while on
land. | |
