Motion planning for Autonomous Underwater Vehicles (AUVs) in challenging sea-cage environments using Reinforcement Learning

Abstract

Autonome Undervannsfartøy (AUVer) brukes allerede i undervannsoperasjoner hvor miljøet eller operasjonen er utfordrende for mennesker å gjennomføre på grunn av for eksempel værforhold eller tiden operasjonen tar. Samtidig er det et økende behov for bærekraftig matproduksjon i verden, noe som fører til et stort potensiale for oppdrettsnæringen. I dag er de fleste oppdrettsanlegg lokalisert langs kystområder, noe som er en begrensningsfaktor med tanke på plass. Flere av aktørene i bransjen ønsker derfor å flytte oppdrettsanlegg offshore. Offshore oppdrettsanlett medfører at vedlikeholdsprosesser som rengjøring, observasjon av fisken og annet vedlikehold blir mer utfordrende å gjennomføre, men de er viktige for fiskens vellferd. Ved å inkorporere autonom teknologi i oppdrettsanlegg kan menneskelig personell bli assistert i oppgaver som er viktige for fiskens vellferd og som sikrer et tryggere arbeidsmiljø for de ansatte.

AUVer bruker bevegelseskontrollsystemer for å kunne operere autonomt. Slike systemer minimerer avviket mellom AUVens nåværende tilstand og den ønskede tilstanden, hvor det å finne den ønskede tilstanden blir gjort ved å bruke en bevegelsesplanlegger. En slik planlegger vil være ansvarlige for å finne en sti som kan håndtere det dynamiske miljøet i et oppdrettsanlegg.

Denne masteroppgaven foreslår å benytte dyp læring (deep learning) sammen med forsterkningslæring (reinforcement learning) i en algoritme som heter Deep Deterministic Policy Gradient (DDPG) som en reaktiv bevegelsesplanlegger for kollisjonsunngåelse for AUVen. DDPG kan håndtere kontinuerlige tilstands- og handlingsrom, noe som er nødvendig for en bevegelsesplanlegger.

Bevegelsesplanleggeren opererer online og resultatet er en ønsket retning for hvert steg som lar AUVen unngå kollisjoner oppdaget ved bruk av sensorer mens den samtidig beveger seg mot mål. Masteroppgaven er basert på prosjektoppgaven som ble gjennomført våren 2022 hvor Rapid-exploring Random Tree (RRT) blir foreslått som en global planlegger som produserer veipunkter som former en sti fra startkonfigurasjonen til mål. Den reaktive planleggeren som er presentert i denne oppgaven ønsker å planlegge en kollisjonsfri sti mellom veipunktene.

Resultatet fra testingen av den foreslåtte metoden er presentert i denne oppgaven og er gjennomført som en rekke simuleringseksperimenter: • Den foreslåtte metoden er blitt testet i et 1D miljø for å verifisere funksjonaliteten av metoden. • Tilfeldig lokaliserte hinder er plassert i et 2D miljø sammen med tilfeldig lokaliserte mål. Resultatet viser hvordan bevegelsesplanleggeren prøver å unngå kollisjon mens den prøver å nå mål.

Eksperimentene viser at den foreslåtte metoden får til å unngå kollisjoner med hinderne mens den når mål, men hvor godt den presterer blir påvirket i stor grad av hyperparametre i de neurale nettverkene.

Autonomous Underwater Vehicles (AUVs) are already used in underwater operations where the environment or the operation is challenging due to for instance weather conditions or the duration of time spent under water in order to assist humans. At the same time the increasing demand for sustainable production of food results in a growing potential in fish farms. However, the farms mainly being located at coastal shores is a limiting factor, and and more people are looking to relocate the facilities off shore. With off shore locations maintenance procedures like cleaning, observation of the behavior of the fish and maintenance of the net become more difficult to conduct, but are important for the welfare of the fish. By incorporating autonomous technology in fish farms human personnel can be assisted in tasks that are important for the welfare of the fish while at the same time creating a safe work environment for the personnel.

AUVs rely in motion control systems to be able to operate autonomously. The motion control system is used to minimize the error between the AUVs current state and a desired state, where obtaining the desired state is done by a motion planner. The motion planner is responsible for providing a path that can handle the dynamic environment of a fish cage.

This thesis proposes to use the deep reinforcement learning algorithm Deep Deterministic Policy Gradient (DDPG) as a reactive motion planner in order to allow for obstacle avoidance during the AUVs operation. DDPG handles continuous state and action spaces, which is necessary for a motion planner.

The reinforcement learning- based motion planner operates online, and outputs the desired heading at each step that allows the AUV to avoid obstacles detected by sensors, while approaching a defined goal configuration. The thes is is based on the work done in the specialization project the spring of 2022, where Rapid Exploring Random Tree (RRT) is proposed as a global planner producing waypoints that form a path from a start configuration to a goal configuration. The reactive planner presented in this paper has as its objective to plan a collision free path between the waypoints.

The results from testing the planner are presented in this thesis, and are conducted as a series of stepwise simulation experiments. The experiments are starting with tests to verify basic elements of the proposed method before the method is tested in a extended environment. The main results of the work is presented in the following order: • The proposed method is first tested in a 1D environment to verify the functionality of the method. • Randomly located obstacles are placed in a 2D environment together with a randomly placed goal.

The results show the motion planners obstacle avoidance abilities while it tries to reach the goal. The experiments show that the deep reinforcement learning-based motion planner is able to avoid collision with obstacles while reaching the goal, however the performance can be seen to be considerably affected by hyperparameters and architecture of the neural networks.