Deep Reinforcement Learning based Energy Management in Marine Hybrid Vehicle

Abstract

Automatisering har nylig fått mye oppmerksomhet fra maritim industri. Selv om mye autonome navigasjoner har blitt lagt vekt på, er det også viktig å ta opp behovet for autonom kontroll av andre prosesser som energiledelse. Denne studien tar sikte på å bestemme hvordan modellfri forsterkningslæring kan brukes til å kontrollere energiledelse i et hybrid marine kjøretøy. Spesielt undersøker den anvendeligheten av DRL (Deep Reinforcement Learning) -basert kontroll av lastfordeling mellom en energilagring og motor. I denne sammenheng vil denne DRL bli brukt til å bestemme en rekke tiltak eller policyer som tillater effektiv bruk av drivstoff, ved å redusere gjennomsnittlig SFOC under en driftssyklus ved å øke effektiviteten til energilagring.

For å teste denne hypotesen om at DRL-basert kontrollmodell kan produsere adaptiv kontroll uten behov for historiske data, ble en dobbel Deep Q-nettverksmodell (DQN) testet for policyoptimalisering. For det første fikk modellen lov til å utforske systemets oppførsel, deretter ble læringsopplevelsen brukt til å formulere en 'lær-som-du-går-strategi'. Modellen ble deretter testet for pseudo tilfeldige operasjonssykluser for å kontrollere validering. Resultatene viste at kontrollmodellen var i stand til å minimere bruken av dårlige handlinger, noe som resulterte i høyere SFOC til under 5% av tiden. Herav utgjorde mindre 2% den 'verste' handlingen med høyest mulig SFOC. Videre var agenten ikke bare i stand til å tilpasse seg varierende belastningsforhold, men også endre energilagringskapasitet.

Disse resultatene antyder at DRL-basert kontroll har potensial til å gi en god energiledelsesstrategi i et hybrid marint kraftverk som kan føre til effektiv bruk av lagring av motor og energi og effektiv utnyttelse av drivstoff.

Automation has received much attention from maritime industry recently. Although much attention has been given to autonomous navigation, it is also critical to address the need of autonomous control of other processes such as Energy management. This study aims to determine how model free Reinforcement Learning can be used to control Energy management in a Hybrid marine vehicle. Specifically, it investigates the applicability of Deep reinforcement Learning (DRL) based control of load division between an Energy storage and Engine. In this context this DRL would be used to determine a series of actions or policy that allows Efficient use of Fuel, by reducing average SFOC during an operation cycle by increasing the efficacy of Energy storage.

To test this hypothesis that DRL-based control model can produce adaptive control without the need of historical data, a dual Deep Q- network (DQN) model was tested for policy optimisation. Firstly, the model was allowed to explore behaviour of the system, then the learning experience was used formulate a 'learn-as-you-go' strategy. The model was then tested for pseudo random operation cycles to check its validation. The results showed that the control model was able to minimise the use of poor actions, which result in higher SFOC to under 5% of the time. Out of which less 2% constituted of the 'Worst' Action with highest possible SFOC. Moreover, the agent was not only able to adapt to varying load conditions but also change in Energy Storage Capacity.

These results suggest that DRL-based control has the potential of yielding a good energy management strategy in a Hybrid marine power plant which can lead to effective use of Engine and Energy storage and efficient utilisation of fuel.