High-level Action Planning for Marine Vessels using Reinforcement Learning

Abstract

Det har i det siste årene vært økende fokus på autonome marine fartøy. Motivasjonen bak dette kan tenkes å være både finansielle, sikkerhets og miljømessige. Denne oppgaven skal forsøke å utnytte reinforcement learning for å øke autonomien i et marint fartøy.

En Dyp Q-nettverks agent får i oppgave å velge riktige handlinger, fra et definert utvalg handlinger, for å frakte et skip fra utsiden av en havn til et designert målområde. Agenten får også i oppgave å unngå trafikk på veien.

Denne agenten kan tenkes å fungere som et støtteapparat for å ta avgjørelser. Handlingene agenten velger å ta kan enten bli sendt til en kaptein for godkjenning eller styre de lavere kontrolleren direkte. Handlingene til agenten vil også ta skipets dynamikk i betraktning ved siste implementasjon. Agenten blir testet i et simulert miljø som er lånt av DNV GL. Informasjonen denne agenten får tilgang til vil være informasjon man kunne tenkelig å anskaffet lokalt på et skip, som posisjon og heading, eksempelvis. Denne type informasjon kan tenkelig hentes via GPS, AIS data, satellittbilder eller lokale sensorer. Resultatene viser at agenten klarer å lære seg miljøet, frakte skipet til ønsket posisjon og unngå trafikk. Siden denne type avgjørelser går over det man kan forvente av en tradisjonell kontroller har dette potensialet til å øke nivået autonomi.

Autonomous marine vessels have been the subject of much research in the past few years. The motivation behind this is the potential financial gain from the shipping industry, the environmental gain and an increase in safety. This thesis aims to investigate the added value of reinforcement learning (RL) when applied to marine vessels control to increase autonomy.

A Deep Q-Network (DQN) agent is tasked with selecting optimal actions, from a predefined action set, to guide a vessel from outside a port to a designated docking space. The agent should also be able to make intelligent decisions and avoid dynamic obstacles like traffic.

The DQN agent could act as a high-level decision support system for the vessel, where the actions are either sent to a captain for approval, or directly control the lower level controllers. The action set takes the vessel dynamics into account in the final implementation, and the agent is tested on several scenarios in a simulated environment provided by DNV GL. The agent will only be afforded information that could potentially be gathered locally from a physical vessel. Examples of such information would be position and heading for all vessels in the area and also map information. This information could be collected via GPS, AIS data, satellite images or onboard sensors.

The results show that the DQN agent is fully capable of learning the environment, guiding the vessel and avoiding traffic. It, therefore, has the potential to increase autonomy as it goes beyond what can be accomplished using classical control theory and path-finding algorithms. The final result of this thesis is a practical implementation strategy for a DQN agent as a high-level decision support system.