System for utilizing eye tracking in a virtual maritime environment

Abstract

Denne avhandlingen undersøker mulighetene til kombinasjonen mellom øyesporing i virtuell virkelighet for Kystverket. Etter å ha utviklet en skipssimulator i samarbeid med Morild Interaktiv AS ønsket Kystverket å se på muligheter for å inkludere øyesporing i denne simulatoren.

Forarbeid har blitt utført gjennom en industrirapport fra et tidligere semester. Denne rapporten viste potensialet til øyesporing som et verktøy som kan øke produktiviteten til en bruker. En rekke personer interessert i industriprosjektet ble samlet for å utvikle en løsning som et bachelorprosjekt.

Når en los er på en båt, skal de helst se mest mulig ut av vinduet for å unngå ulykker og ikke bruke instrumentene for mye. Dermed om disse dataene kan tas opp i skipssimulatoren til Morild Interaktiv kan man bli presentert hvordan oppførselen er over tid på en visuell måte.

Løsningen som ble laget i dette prosjektet ser på hvordan det kan gis objektiv tilbakemelding på brukerens adferd i en virtual reality demo applikasjon. Her kan brukerens synsdata visualiseres gjennom punktskyer og kart som viser hvor brukeren har sett over tid. I tillegg ble en nettside utviklet for å se tilbakemeldingene i grafformat. Her kan de sammenligne sin egen prestasjon mot andres prestasjoner. Dette kan ha stor verdi i treningssimulatorer der det kan leveres raske objektive tilbakemeldinger, og utføre sammenlikninger mellom store mengder brukere.

This thesis explores the opportunities of combining eye tracking and virtual reality applications for the Norwegian Coastal Administration (NCA). After creating a virtual reality vessel simulator in collaboration with Morild Interaktiv AS, the NCA wanted to see which opportunities existed for including eye tracking in this simulator.

Preliminary research from an industrial project conducted during the previous semester showed potential of eye tracking for aiding in the productivity of users. A group of people showing interest in this industrial project was assembled to create an implementation of eye tracking in virtual reality as a bachelor’s project.

When certain bridge staff are working in a vessel, there are specific areas they are expected to keep an eye on. As an example, some are required to look out of the window as much as possible to not rely too often on instruments.

This is data that can be recorded in virtual reality to provide feedback on the performance of a crew member in a visual way. A virtual reality demo was developed to investigate how this data can be recorded and presented to the user. The demo contains visual models that shows viewing patterns of the user in various ways. Additionally, a website was created to present data as graphs. In this website, the viewing patterns of the user can be compared other users.

The final project shows how eye tracking could be used in a virtual maritime training simulation to provide feedback and comparisons between users. This can be valuable, especially if a large amount of data is collected for extensive comparison.