Autonomous Docking Control System for the Otter USV: A Machine Learning Approach

Abstract

Denne masteroppgaven utforsker muligheten for å bruke dyp forsterkende læring (eng. deep reinforcement learning, DRL) til å utvikle et autonomt dokkingsystem for en underaktuert overflatefarkost. Autonome marine fartøy er for tiden populære innen forskningsmiljøer og har vist potensiale til å både øke sikkerheten og redusere driftskostnader. Det har blitt presentert flere løsning for dokking av fullaktuerte overflatefarkoster. Problemet for dette prosjektet er at farkosten kun er drevet av to fastmonterte propeller i akter, noe som gjør den underakturert. Dette introduserer et interessant kontrolproblem siden dette dramatisk reduserer manøvrerbarheten og gjør dynamisk posisjonering nærmest umulig.

For å løse dette ble et maskinlæringsmiljø som inneholder farkostens dynamikk utviklet. To DRL-algoritmer ble implementert og sammenlignet; deep deterministic policy gradient (DDPG) og proximal policy optimization (PPO). Begge algoritmene ble trent med den samme belønningsfunksjonen, en funksjon som belønner DRL-agenten etter hvor godt den tilfredstiller kravene for posisjon og orientering. Resultatene viste at PPO utførte dokkingen bedre og ble dermed brukt til videre forsøk. Realistisk målestøy og havstrømmer ble lagt til i maskinlæringsmiljøet for å forberede DRL-agenten for testing på en virkelig farkost. To modeller ble trent, en med ukjente havstrømmer og en med DVL-målte havstrømmer.

Simuleringsresultatene viste at det er mulig å utvikle en dokkingkontroller ved å bruke maskinlæring. Begge modellene klarte å håndtere havstrømmer opp til 0.2 m/s, men etterhvert som havstrømmene nådde 0.5 m/s var dokkingkontrolleren avhengig av målinger av havstrømmene for å klare å dokke. Arbeidet i denne masteroppgaven har presentert en dokkingkontroller som er vellykket i et simulert mijø, men på grunn av forenklinger i oppgaven er det nødvendig med mer utvikling før det kan brukes på en virkelig farkost.

This thesis aims to use deep reinforcement learning (DRL) to develop an autonomous docking system for an underactuated Unmanned Surface Vessel (USV). The field of autonomous marine vessels is currently a hot topic and has shown the potential to increase safety and reduce the costs of operation. Various solutions for autonomous docking have been presented for fully actuated ships. However, the USV of interest in this thesis is only controlled by two fixed propellers in the rear, making it underactuated. This introduces an interesting control problem since it dramatically reduces the maneuverability and makes dynamic positioning nearly impossible.

To address this, a machine-learning environment with the USV's dynamics was developed. Two DRL algorithms were implemented and compared, namely deep deterministic policy gradient (DDPG) and proximal policy optimization (PPO). Both algorithms were trained with the same reward function, which rewards the reinforcement-learning agent based on how well it reaches the desired position and orientation. It was found that PPO performed better and was therefore used for further development. Realistic measurement noise and ocean current disturbance were added to the environment to prepare the DRL agent for a real-world application. Two models were trained, one with unknown ocean current and one with DVL measured ocean current.

The results of the simulations show that a docking controller is feasible with the use of machine learning. Both the model with and without DVL measured ocean current could handle ocean currents up to 0.2 m/s. However, as the ocean currents reached 0.5 m/s, the control system was dependant on measured ocean currents to achieve a stable docking maneuver. The work of this thesis has presented a docking system that is successful in a simulated environment. However, due to simplifications in this thesis, a solution for real-world applications still needs further work.