AI Planning Methods for Subsea IMR Operations

Abstract

Inspisering-, vedlikehold og reparasjonsoppdrag (eng: Inspection, Maintenance and Repair) er helt essensielle i subsea-industrien, grunnet det store antallet installasjoner som finnes på havbunnen. Nåværende tilnærming til disse oppdragene er bruken av menneskestyrte undervannsdroner som i svært liten grad er autonome. Av den grunn utforsker denne avhandlingen nye metoder for å kunne øke nivået av autonomi i disse oppdragene ved å benytte seg av "AI Planning". Inspirasjonen til å benytte seg av nettopp disse metodene kommer fra romfartsindustrien hvor kunstig intelligent planlegging (eng: AI Planning) har hatt veldig lovende fremgang i å øke nivået av autonomi i et oppdrag.

Denne avhandlingen dykker også inn i en ny tilnærming av å løse planleggingsproblemer for inspisering-, vedlikehold og reparasjonsoppdrag ved bruk av forsterkende læring (eng: Reinforcement Learning). The utforskede metodene inkluderer "Graphplan" og Hierarchical Task Network" (HTN) fra kunstig intelligent planlegging og Q-læring fra forsterkende læring.

Både metodene innenfor kunstig intelligent planlegging og forsterkende læring er brukt for å løse et planleggingsoppdrag som har blitt utviklet i samarbeid med fjernstyrte undervannsfarkost-piloter (eng: Remotely Operated Vehicle-operators) fra subseaindustrien. Hovedmålet er å modellere og utvikle et planleggingsoppdrag som skal kunne gjenspeile et reelt oppdrag i industrien. Dermed består omgivelsene i det utviklede domenet av elementer som en dockingstasjon, et varehus og et panel med et gitt antall ventiler, siden dette er vanlige deler på en subsea-installasjon.

De oppnådde resultatene fra de tre implementerte metodene, dvs. HTN, Graphplan og Q-læring, gir en indikasjon på hvordan en såkalt intelligent agent kan løse et slikt oppdrag som er i sammenheng med inspisering-, vedlikehold og reparasjon av subsea-installasjoner. I tillegg er methodene sammenlignet med hverandre basert på deres evne til å løse et slikt oppdrag både med og uten omplanlegging. De to metodene innenfor kunstig intelligent planlegging sammenlignes basert på kjøretiden deres når de løser planlegginsoppdraget, mens Q-læring evalueres basert på dens evne til å løse det forenklede scenarioet ved å utforske og lære av sine omgivelser.

Inspection, Maintenance and Repair (IMR) operations are essential in the subsea industry, due to the high number of subsea installations. The current approach of performing these operations are by human-operated underwater vehicles with a low level of autonomy. Consequently, this thesis is exploring new methods for increasing the level of autonomy by introducing an aspect of deliberative planning with the use of Automated Planning and Scheduling (AI Planning). The use of AI Planning is inspired from space applications, as these have shown great progress in increasing the level of autonomy for mission planning problems.

This thesis also delves into a novel approach of using Reinforcement Learning (RL) in order to solve a mission planning problem in the domain of subsea IMR operations. The explored methods for solving the defined mission planning problem are Hierarchical Task Network (HTN) and Graphplan from the domain of AI Planning and Q-learning from Reinforcement Learning.

Both the AI Planning methods and the RL method are used to solve a mission planning problem which has been developed with important feedback from Remotely Operated Vehicle (ROV)-operators from the subsea industry. In terms of the mission planning problem, the aim has been to model and develop a mission in such a manner that it would reflect real IMR operations. Hence, the domain of the mission planning problem contains elements such as a subsea panel, a warehouse and a docking station which are common parts of subsea installations.

The results obtained from the three methods, i.e. HTN, Graphplan and Q-learning give an indication of how a software agent can solve a mission planning problem in the domain of subsea IMR operations. Furthermore, the methods are compared to one another in their ability to solve the mission planning problem both with and without a replanning aspect. The two AI Planning methods are principally compared on their total runtime when solving the mission, whilst the Q-learning algorithm is evaluated on the ability of actually solving the mission planning problem by exploring and learning about the environment.