Autonomous Ships - Combining Hybrid Control and Machine Learning

Abstract

Denne masteroppgaven utforsker hvordan man kan oppnå en høy grad av autonomi for et skip ved å utvikle et kontrollsystem som fører skipet fra A til B uten menneskelig innblanding. Et litteraturstudie av tidligere forskning på feltet har blitt gjennomført for å gi en oversikt over prøvde løsninger og for å inspirere arbeidet i denne masteroppgaven. Et hybrid kontrollsystem bestående av et sett av kontrollere og referansemodeller ble utviklet. Fire forskjellige modus ble definert for en seilas: Manøvreing i sakte fart, Akselerasjon, Deakselerasjon og Transit. En supervisory switch control ble implementert for å bevare stabiliteten til kontrollsystemet i det man bytter mellom de fire modusene. En scale-independent hysteresis switching logikk ble valgt da denne metoden garanterer stabilitet også når man bytter mellom lineære og ulineære modeller. For å oppnå en høy grad av autonomi for systemet er et intelligent nivå nødvendig. Basert på defenisjonene for autonomi må et skip kunne ta begrunnede beslutninger i et utfordrende og komplekst miljø. En baneplanleggingsalgoritme ble derfor utviklet for å utgjøre dette nivået. Denne algoritmen tok utgangspunkt i kunstig intelligens og maskinlæring for å beregne en optimal bane for skipet ved å produsere et sett med rutepunkter. Reinforcement learning teknikken Q-learning ble brukt ved å ta inn miljøfaktoren strøm for å beregne den optimale ruten med hensyn på tidsbruk. Det hybride kontrollsystemet og ruteplanleggeren ble testet med simulatoren MCSim utviklet i Matlab/Simulink og på MCLab på Marinteknisk senter, NTNU, ved å bruke en 1:30 skala av modellskipet Cybership 3. Det resulterende systemet klarer å følge den beregnede optimale ruten på en god måte og bytter mellom modusene samtidig som stabilitien i systemet holdes inntakt uten menneskelig innblanding. Resultatene fra testene viser at de optimale rutepunktene utgjør en raskere rute enn en rute basert på korteste vei. Konseptet til det autonome systemet kan derfor vurderes som vertifisert.

This thesis investigates how one can enable a high level of autonomy for a ship moving the vessel from A to B without human intervention. A review of previous work has been conducted in order to get an overview of former implemented solutions, inspiring the conducted work presented in this thesis. An advanced control system was developed based on hybrid control theory by developing a set of controllers and reference models for four different modes: Slow speed manoeuvring, Acceleration, Deceleration and Transit. A supervisory switch control was implemented in order to switch between the four modes while at the same time retain stability. A scale-independent hysteresis switching logic was chosen as this method guarantees stability also when switching between linear and nonlinear models. In order to achieve a high level of autonomy, a deliberative level is needed for the system. Based on the definition of autonomy the vessel must be able to make justifiable choices in a challenging and complex environment. A path planning algorithm therefore was developed. This algorithm took advantage of the theory behind Artificial Intelligence (AI) and Machine Learning in order to calculate an optimal path for the vessel by producing a set of waypoints. The Reinforcement Learning algorithm Q-learning was used, taking into account the environmental forces from current in order to find the optimal path based on minimum time. The overall hybrid control system and the path planner was tested and verified on the simulator MCSim developed in Matlab/SimulinkandintheMCLabattheDepartmentofMarinTechnology, NTNU, using a 1:30 model of the supply ship Cybership 3. The resulting system manages to follow the calculated optimal path in a satisfactory manner, switching between the four modes without human intervention. The optimal waypoints found by the path planner also result in a faster path than the shortest distance path. Hence, the concept of the overall autonomous system was verified.