Augmented reality interface for subsea IMR operations

Abstract

Utvidet virkelighet kan forbedre oppfatningen av den virkelige verden ved å vise nyttig informasjon om omgivelsene. Ettersom olje- og gassnæringen opplever krevende tider etter at oljeprisene har falt kraftig og Covid-19 pandemien har gitt flere negative følger er det interessant å se om teknologi basert på utvidet virkelighet kan hjelpe mot en mer effektiv produksjon. Med fokus på subsea-installasjoner som krever rutinebasert inspeksjon, vedlikehold og reperasjonsoperasjoner (IMR) utført av fjernstyrte undervannsfartøy (ROVer). De styres ved å se på en kamerastrøm på en todimensjonal skjerm og kan derfor nyte godt av verktøy basert på utvidet virkelighet for å gjøre operasjoner lettere og tryggere ved å gi informasjon om omgivelsene.

Målet til dette arbeidet er å utforske potensialet av forskjellige verktøy basert på utvidet virkelighet for å hjelpe ROV-piloter å gjennomføre IMR-operasjoner. For å etterligne en ROV brukes det en robotmanipulator. Et Realsense D435i dybdekamera med integrert IMU blir brukt for å kunne lage mer komlekse applikasjoner. Tre verktøy ble implementert. Det første var en digital tvilling som viser bevegelse og utstrekning til robotmanipulatoren i sanntid. Det andre var en markørsporer med okklusjonsrobusthet basert på IMU-data og et Extended Kalman filter. Det tredje var en avstandsmåler som lar brukeren velge to punkt på en todimensjonal bildestrøm og få avstanden mellom de tilsvarende 3D-punktene i meter ved hjelp av dybdedataen fra dybdekameraet.

De tre verktøyene ble kombinert i et grensesnitt ved hjelp av spillmotoren Unity. Kommunikasjonen mellom Unity, maskinvaren og programvaren ble gjort gjennom ROS, som ga muligheten til å opprettholde svært høye målefrekvenser og lave forsinkelser. Opprinnelig skulle det helhetlige systemet og de forskjellige verktøyene bli evaluert ved hjelp av et eksperiment, men dette måtte dessverre utgå grunnet Covid-19 pandemien. Derfor er all evaluering basert på kvalitativ ytelse der det er mulig å måle.

Basert på evalueringen virker de implementerte verktøyene svært lovende, men det trengs tuning og videre evaluering i et undervannsmiljø hvis det skal tas med videre til IMR-operasjoner. Avstandsmåleren var svært presis når kameraet var nærme det som ble målt, men bruken av infrarødt lys vil mest trolig gjøre at presisjonen faller under vann. Markørsporingen fungerte akseptabelt hvis roboten stod stille, men ikke når den var i bevegelse. Til tross for dette fungerte prinsippene bak verktøyene.

Augmented reality can enhance the perception of the real world by providing digital information about the surroundings. As the oil and gas industry is experiencing hard times due to falling oil prices and the fallout of the Covid-19 pandemic, utilizing emerging augmented reality technology may aid in making production more effective. Specifically focusing on Subsea oil and gas installations that require routinely executed inspection, maintenance and repair (IMR) operations in order to remain functional and safe. These operations are carried out by remotely operated vehicles (ROVs), controlled by a pilot viewing a 2-dimensional camera stream and could potentially benefit from tools making operations easier and safer.

The aim of this thesis is to explore the potential of different augmented reality applications made to aid ROV pilots in IMR operations. A robot manipulator was used to emulate an actual ROV. A Realsense D435i depth camera with an integrated IMU was used to create more complex applications. Three tools were implemented including a digital twin that displays the movements of the manipulator in real-time, a marker tracker algorithm using IMU-readings and an extended Kalman filter to provide occlusion robustness and a tool that enables the user to measure distances in three-dimensional space by using the depth data received from the D435i.

The three tools were combined in a single interface implemented in the graphics engine Unity. The communication between Unity, the hardware and the software was implemented with ROS, allowing for high frequencies and low delays. The interface was originally going to be evaluated by an experiment, but due to Covid-19, this was not possible. The evaluation is instead based on the performance of the different aspects of the interface.

Based upon the evaluation, the tools showed great promise, but need further tuning and testing in an underwater environment to be viable for use in IMR operations. The distance measurement tool worked well at close range, but the using infrared light under water will most certainly affect the precision of the measurements. Although the marker tracking tool gave satisfactory results when stationary, further tuning is required for occlusion robustness when the manipulator is moving.