Augmented reality based operator interface for increased depth perception and decision support during subsea IMR operations

Abstract

Droner eller kjøretøy styres ofte ved hjelp av kontrollere i områder som ikke er til syne for operatøren. Disser er derfor vanligvis utstyr med et kamera som filmer og presenterer denne filmen på en 2D skjerm, slik at operatøren kan se omgivelsene. I slike situasjoner står operatøren ovenfor oppgaven om å måtte styre noe som befinner seg i et 3D miljø med bare 2D informasjon tilgjengelig. Denne rapporten ser på hvordan augmentert virkelighet (AR) kan brukes for å gi operatører dybde syn, altså 3D informasjon, når de opererer under slike forhold. I tillegg er det også av interesse å se på mulighetene for å kunne lage beslutningstøttene funksjonalitet ved hjelp av AR, å hjelpe operatører til å ta bedre beslutninger.

Subsea felt er plassert i områder hvor det er ekstremt vanskelig og farlig for mennesker å befinne seg. Derfor brukes fjernstyrte kjøretøy når fysiske oppgaver skal utføres på subsea utsty. Slike oppgaver faller ofte innenfor kategorien IMR operasjoner som er inspeksjons-, vedlikeholds- og reparasjonsoperasjoner. Under slike operasjoner oppstår situasjonen beskrevet ovenfor hvor de som styrer undervannsfartøyene (ROVene) ofte bare har 2D informasjon tilgjengelig. Derfor ønsker denne rapporten å se nærmere på problemstillingen: Er det mulig ved hjelp av fremtredende teknologi innenfor AR, å utvikle brukervennlig dybde syns og beslutningsstøttene funksjonalitet i et 2D monitor basert grensesnittet mellom subsea ROVer og dem som styrer de?

For å undersøke denne problemstillingen har et AR operatør grensesnitt blitt utviklet ved hjelp av Unity og utviklerpakken Vuforia. I dette grensesnittet er det implementert ulike dybde verktøy, med hensikt om å presentere dybde informasjon til operatøren. I tillegg er det også utviklet andre AR komponenter som viser relevant operasjonsinformasjon, med ønsket om å tilby beslutningsstøttene funksjonalitet. Det ble møtt ulike utfordringer i prosessen med å utvikle dette AR-systemet, hvor kanskje den største var oppgaven med å legge AR informasjonen oppå den fysiske virkeligheten på en robust og god måte.

For å kunne evaluere om det utviklede grensesnittet var velfungerende, ble det satt opp et eksperiment for å teste AR-systemet. I dette eksperimentet deltok 8 frivillige personer. Til eksperimentet ble de det utviklet et verktøy. Dette kan styres med 5 DOF, og er utstyrt med et kamera. Ved å kontrollere dette verktøyet skulle deltakerne gjennomføre tre ulike operasjoner. Disse ble utført to ganger. Første gang bare med hjelp av video strømningen fra kameraet, som ble presentert på en 2D skjerm. Andre gangen skulle det samme gjøres, bare nå med AR-systemet presentert på skjermen. Etter disse operasjonene svarte deltakerne på en spørreundersøkelse for å evaluere ulike områder ved systemet og brukervennligheten av det.

Rapporten konkluderer med at det ved hjelp av AR er mulig å utvikle et system som inneholder dybde syns og beslutningsstøttene funksjonalitet, selv om det presenteres på en 2D skjerm. Gjennom test og evaluering kom det i tillegg fram at AR grensesnittet, med den ønskede funksjonaliteten, har god brukervennlighet. Det ble også i rapporten oppdaget og diskutert komponenter som gjerne ikke utnyttet sitt fulle potensiale. Disse kunne ha tjent på forbedringer og økt fokus under videre arbeid for å øke robustheten, påliteligheten, og den overordene brukervennligheten av systemet. Dette, i tillegg til fokus på å løse de begrensningen som rapporten presenterer, må arbeides videre med før et slikt AR grensesnitt kan tas i bruk for å assistere operatører som styrer subsea ROVer.

When remotely operating a vehicle or drone through a controller where the only visual information of the controlled object is a video feed from its camera displayed on a 2D monitor, you are dealt with a task to control an object in a 3D environment by only receiving 2D directional information. This report looks at emerging technology within augmented reality (AR) to help provide increased depth perception (i.e., depth of field information) to operators, operating under these conditions. In addition to providing depth perception, this report also seeks out to introduce decision support capabilities to the operator interface in order to aid operators during decision taking situations.

On subsea fields at the seabed, equipment is seldom within human reach and are therefore interacted with though Remotely Operated Vehicles (ROVs). Frequent ROV operations are those falling in under the IMR category which includes inspection, maintenance, and repair operations. This is a scenario like the one mention above where the operators operating the ROVs usually only have 2D information available. With this in mind, this report seeks out to answer the research question: Can utilization of emerging technology within AR help introduce usable depth perception and decision support capabilities to a 2D monitor based interface between subsea ROVs and their operators?

To investigate the research question an AR operator interface is developed in Unity together with the Vuforia developer kit. Different depth tools are designed and implemented with the intention to provide the operator with depth information, while other AR components are also included to presents relevant operation information in an attempt to create decision support capabilities. When developing this AR system one of the greatest challenges turned out to be the alignment of AR objects onto the physical world.

After the AR system was designed and developed, the capabilities mentioned in the research question was evaluated through a designed, arranged and conducted experiment. In this experiment, 8 participants had to complete three different operations while operating a wooden beam which could be maneuvered with 5 DOF. This wooden beam called "the tool" has a camera attached to it, and the participants first had to complete the three operations by only having the pure video feed from that camera available at a 2D monitor. In the second run, they had the AR system presented on the monitor. After the operations, the participants answered a survey to evaluate general aspects and the usability of the designed, developed and implemented system.

From the above, it was concluded that the developed operator interface had obtained depth perception and decisions support capabilities through the implemented AR components. In addition, based on the usability evaluation, the system was rated to have good usability. There were also discovered areas which could benefit from improvements and further work to increase robustness and reliability, as well as the overall usability before this kind of system could be utilized in the interface between subsea ROVs and their operators.