Use of Augmented Reality in Aquaculture

Abstract

I utvidet virkelighet(eng: Augmented reality) brukes datamaskin-genererte objekter og visualiseringer til å forbedre oppfatningen av virkeligheten, gjennom å legge til mer klarhet og data. I løpet av de siste årene har teknologien økt i popularitet, spesielt innen utvikling av mobilapper, men også innen industri og næringsliv. Industrier som olje og gass, militær og helsesektoren har sett hvordan AR kan gi fordeler gjennom mer støtte og instrukser under operasjoner. En bransje som har igjen å utforske fordelene til AR er oppdrettsnæringen. AR har potensiale til å reduere kostnader, spare tid og forbedre støtten i undervannsoperasjoner med drone, som for eksempel nett- og fortøyningsinspeksjon. Med AR kan kontrollpersonell oppnå bedre oversikt og mer effektive gjennomføringer av operasjoner gjennom AR informasjon. Hvis produksjonen av fisk skal økes, må oppdrettsanlegg lokaliseres lengre fra land, på mer utsatte plasser. Dette øker behovet for pålitelig teknologi som kan gi forbedringer i fjernstyring og overvåkning med manuelle eller autonome droner, og AR er en lovende teknologi i forhold til dette.

Målet med denne avhandlingen er å utforske hvordan AR kan forbedre drone operasjoner relatert til inspeksjon og reparasjon av fiskenettet på merden. To AR system har blitt implementert for å utforske, teste og evaluere hvordan AR kan brukes i nettinspeksjon og reparasjon: AR INFO systemet og AR INTERACTION systemet. AR INFO systemet er implementert for å se hvordan AR kan oppnå bedre behandling og visning av informasjon under inspeksjon av nettet på merden. AR INTERACTION systemet har blitt implementert for å se hvordan AR kan brukes til å forbedre støtten i interaksjonsoperasjoner, sånn som nettreperasjon. AR systemene er evaluert hver for seg, gjennom to forskjellige eksperimenter: INFO eksperimentet og INTERACTION eksperimentet. I eksperimentene tok testpersonene å løste et sett med oppgaver ved å både bruke et AR system og et system uten AR. Oppgavene er nesten de samme for begge system, men noen tilpasninger er gjort, slik at testprosedyren for de to systemene er sammenlignbare. Systemet uten AR fungerer som en målestokk, for å se om AR systemet oppnår bedre funksjon og brukervennlighet. I andre kapittel blir relevant teori relatert droneoperasjoner innen oppdrett, AR og testing av brukervennlighet presentert. I påfølgende kapittler blir begge AR system og eksperiment, med testprosedyrer, beskrevet i detalj.

Et av hovedbidragene i denne avhandlingen, er konseptskissen av et forbedret AR system basert på funn og evalueringer av AR systemene implementert i dette prosjektet. AR systemene i dette prosjektet har blitt evaluert gjennom forskjellige typer evalueringer. NASA-TLX appen har blitt brukt til å måle arbeidsmengden man opplever når man bruker systemene. Skjermopptak av videofeed fra datamaskinen brukt i eksperimentet og objektive observasjoner har blitt samlet under eksperimentet. Etter eksperimentene, har testpersonene gjennomført en subjektiv evaluering, som har evaluert AR systemene basert på brukervennlighetsmål beskrevet i detalj i kapittel 2.5.1. Hovedresultatet fra evalueringen var at AR systemene må ha et enkelt brukergrensesnitt for å hindre at systemet ikke gir brukeren for mye informasjon på en gang, og at bare AR komponenter som direkte bidrar til å gjøre operasjonen lettere, bør være en del av AR systemet. Støttende informasjon passer best å ha som statisk UI tekst på et panel på skjermen, og ikke som AR komponenter. Det foreslåtte, forbedrede AR systemet kan bidra til nye ideer og inspirasjon til hvordan man kan designe og implementere et AR system relatert til fjernstyring av undervannsinteraksjons droner(UIDer) innen oppdrettsnæring.

Gjennom dette prosjektet har AR vist seg å være en lovende teknologi for operasjoner innen oppdrettsnæring. AR INTERACTION systemet gjorde det bedre enn systemet uten AR i kategoriene relatert til gjennomføringstid av oppgavene, arbeidsmengde og brukervennlighet. På den andre siden fikk AR INFO systemet en mer delt tilbakemelding. I deler av eksperimentet, led testpersonen av at AR systemet, i kombinasjon med testprosedyren, ga for mye informasjon på en gang. Noe som gjorde at AR systemet gjorde det dårligere enn systemet uten AR i disse segmentene av eksperimentet. Alle resultatene fra eksperimentene er presentert og diskutert i Results-kapittelet. Målet med å implementere, teste og evaluere AR systemer rettet mot nettinspeksjon og reperasjon er antatt oppnådd. Resultatene gitt fra eksperimentene viser at AR systemene har mer å gå på når det gjelder brukervennlighet og funksjon, men at implementasjonene gir en basis for videre forbedring av AR systemene. Diskusjon relatert til partiskhet og validitet av resultatene fra eksperimentene, i tillegg til diskusjon rundt hvordan AR kan bli brukt på best mulig vis til å forbedre operasjoner i oppdrettsnæring, er presentert nærmere slutten av avhandlingen. Forslag til videre testing av AR relatert til ROV operasjoner i oppdrettsnæring er også presentert.

In augmented reality, computer-generated objects are used to enhance the perception of real-world experiences, through added clarity and data. In the last years, the technology have been gaining popularity, especially in development of mobile apps, but also in industry applications. Industries such as oil and gas, military and manufacturing have seen the advantages that AR may offer through added support and instructions during operations. An industry that has yet to explore the benefits of AR is aquaculture. AR have the potential to reduce cost, save time and enhance support in underwater drone operations such as net and mooring inspections. With AR the control personnel may achieve a better overview and more efficient completion of the operations through added AR information. To increase the production of fish, aquaculture sites have to be located further from land at more exposed places. This increases the need of reliable technology that could make benefits related to remote operations and surveillance with manual or autonomous drones, and AR is a promising technology in that regard.

This thesis aims to explore how AR could enhance the underwater ROV operation of fish cage net inspection and repair. Two AR systems have been implemented to explore, test and evaluate different kinds of ways to use AR in net inspections and repair: The AR INFO system and AR INTERACTION system. The AR INFO system is implemented to look at how AR could achieve enhanced handling and displaying of information under inspections of the net. The AR INTERACTION have been implemented to see how AR could be used to enhance support in interaction operations such as net repair. The AR systems are evaluated separately, conducting two different experiments: The INFO and INTERACTION experiments. In the experiments test persons solve a set of different tasks using both an AR system and a system without AR. The tasks are almost the same for both systems, but some adaptions have been made to make the test procedure of the two systems comparable. The system without AR works as a benchmark, to evaluate if the AR system achieve better performance and usability. In chapter two of the thesis, relevant theory related to drone operations in aquaculture, AR and usability testing are presented. In the following chapters both AR systems and experiments, with test procedures, are described in detail.

One of the main contributions of this thesis, is the concept sketch and proposal of an improved AR system based on the findings and evaluations of the AR systems implemented in the thesis. The AR systems in the thesis have been evaluated through different kinds of evaluations. The NASA-TLX app have been used to accurately evaluate the workload of the systems. Screen recordings of video feed from computer used in the experiments and objective observations have been gathered during the experiment. After the experiments, the test persons have conducted a subjective evaluation, evaluating the AR systems based on usability goals described in detail in section 2.5.1. The main result was that the AR system must have a simplistic user interface to avoid information overload, and that only AR components that contribute directly to the operation should be part of the AR system. Supporting information is best suited as static UI text on a panel of the screen, and not as augmented components in the scene. The proposed, improved AR system may contribute to new ideas and inspirations on how to implement an AR system related to remote underwater interaction drone(UID) operations in aquaculture.

Throughout this project, AR have shown to be a promising technology for operations in aquaculture. The AR INTERACTION system performed better than the system without AR in the categories related to completions time of tasks, workload and usability. Nevertheless, the AR INFO system got a more mixed response. In parts of the experiments, the test persons suffered from information overload decreasing the performance of the AR system. All the results are presented and discussed in the Results chapter. The goals of implementing, testing and evaluation AR systems aimed towards net inspection and repair are assumed achieved. The results obtained from the experiments, show that the AR systems have a way to go related to usability and performance, but that the implementations offer a basis for further enhancements of the AR systems. Discussion on bias and validity of results conducted in the experiments, as well as how AR could be used in the best way to enhance operations in aquaculture, are presented in the end of the thesis. Suggestions for further testing of AR related to ROV operations in aquaculture are also presented.