Vis enkel innførsel

dc.contributor.advisorZadeh, Mehdi
dc.contributor.advisorReddy, Namireddy Praveen
dc.contributor.authorOs, Oliver Stugard
dc.contributor.authorØverås, Sebastian Thorsen
dc.date.accessioned2021-09-21T16:31:35Z
dc.date.available2021-09-21T16:31:35Z
dc.date.issued2020
dc.identifierno.ntnu:inspera:54166542:21023969
dc.identifier.urihttps://hdl.handle.net/11250/2780136
dc.description.abstractDenne masteroppgaven undersøker ulike algoritmer for kraft- og energistyringssystemer (PEMS, eng: power and energy management system) på et nullutslipp hybridskip. Det er hovedsakelig lagt vekt på metoder fra forsterkende læring, en gren av maskinlæring. Den internasjonale sjøfartsorganisasjonen (IMO, eng: International Maritime Organisation) setter stadig strengere regulereringer for å redusere utslippene fra shippingindustrien. Med et mål om å tilfredsstille retningslinjene til IMO, samt overholde de langsiktige målene om nullutslipp shipping, har miljøvennlige skip med brenselceller og batterier som fremdriftssystemer, tiltrukket seg stor forskningsinteresse fra industrien og akademia de senere årene. Batterier har vært en stor suksess i bilindustrien. Til tross for dette mangler dagens batteriteknologi energitettheten som kreves for å benyttes alene som fremdriftssystem til langdistanseskipsfart. Derfor har brenselsceller, med hydrogen som drivstoff, fått økt oppmerksomhet for bruk sammen med batteri i skip. Brenselsceller har både høy virkningsgrad og energitetthet, og kan tilføre gjevn kraft over lengre perioder. Batterier har derimot høy krafttetthet og kan håndtere store umiddelbare kraftendringer, noe som kreves for å gjennomføre trygge, maritime operasjoner med høy presisjon. Til tross for deres lovende utsikter er det flere utfordringer knyttet til bruken av brenselceller og batterier. Kontrollsystemer som inkluderer slitasje i beregningene er essensielt, da uforsiktig bruk kan resultere i drastisk kortere levetid både for brenselsceller og batterier. De er også dyre, og kostnadene knyttet til slitasje og utskiftning er betraktelig høyere enn for tradisjonelle forbrenningsmotorer. I tillegg endres karakteristikken til batterier og brenselsceller når betydelig slitasje påføres. Dermed er det nødvendig med et intelligent kraft- og energistyringssystem, som kan oppdatere kraftdelingsplanen til kontrolleren kontinuerlig for å sikre optimalitet uavhengig av karakterendringer. Et slitasjebevisst PEMS med mål å minimere både drivstoff- og slitasjekostnader er vitalt for å gjøre skipsfart med nullutslipp konkurransedyktig med forbrenningsmotorer. Enkle regelbaserte algoritmer og optimeringsmetoder er tpyiske strategier for PEMS kontroll. Forsterkende læring (RL, eng: Reinforcement learning) er en undergren av maskinlæring (ML, eng: Machine learning) som potensielt kan utfordre tradisjonelle kontrollmetoder, da slike algoritmer kan tilpasse seg og lære fra endringer i omgivelsene. De optimeringsbaserte metodene tar utgangspunkt i en predikert last, som vil være unøyaktig grunnet tilfeldige lastpåkjenninger som bølger og vind. RL benytter seg ikke av en modell, og trenger heller ikke å predikere fremtidige laster for å kontrollere PEMS. En omfattende litteraturstudie på kostnader relatert til slitasje av batterier og brenselceller som følge av bruksmønstre er utført. Resultatene er samlet i en kostnadsfunksjon for å finne den optimale kraftfordelingen mellom batteri og brenselscelle. Matematiske modeller for begge komponentene er også grundig undersøkt. Etter kritiske evalueringer av fordeler og ulemper knyttet til nøyaktighet og beregningshastighet, ble to lineariserte modeller for brenselsceller og batteri implementert for simuleringer av en online PEMS. RL algoritmene Q-læring, dyp Q-læring og soft actor-critic algoritme er implementert for PEMS kontroll. I tillegg har dynamisk programmering og en regelbasert algoritme blitt implementert for sammenligningsgrunnlag for prestasjonen til RL algoritmene. Alle modeller og algoritmer har blitt implementert i Python av forfatterne. Modellsimuleringer ble gjennomført på lastprofilen fra et ekte skip, og prestasjonen til algoritmene ble evaluert og sammenlignet. Dyp Q-læringsalgoritmen klarte å minke slitasjekostnader på brenselscellen med 53 % og soft actor-critic algoritmen reduserte drivstoffkostnader med 31 % og batterislitasjekostnader med 0.1 % sammenlignet med den regelbaserte algoritmen. Simuleringsresultatene indikerer at læringsalgoritmene kan redusere de operasjonelle kostnadene knyttet til kraftsystemet på skip. Til tross for dette har læringsbasert PEMS stort forbedringspotensial, da forskningsfeltet er nytt. Det er flere utfordringer knyttet til både belønningsfunksjon, kontinuerlige handlings- og tilstandsverdier, overtilpasning av treningsdata og pålitelighet som må adresseres før de kan bli en reell konkurrent til de eksisterende metodene for PEMS kontroll. Disse utfordringene er anbefalt som videre arbeid.
dc.description.abstractThis master thesis investigates different power and energy management system (PEMS) algorithms on a zero-emission hybrid ship, primarily using methods from the field of reinforcement learning, a branch of machine learning. The International Maritime Organization (IMO) has proposed stringent regulations in order to reduce emissions from shipping. Complying with IMO regulations as a step towards the long term goal of zero-emission shipping, has spiked interest in ships powered by fuel cells and batteries in both academia and industry. Batteries have been a huge success in the automotive industry. However, the insufficient energy density disqualifies it as a standalone energy source for deep-sea shipping. Therefore, hydrogen powered fuel cells are proposed to compliment the battery. Fuel cells offer both high efficiency and high energy density, and are well suited for supplying steady power over long periods. On the other hand, batteries are capable of providing excellent power density and responsiveness, ensuring high performance and safety in maritime operations. Despite their promising outlook, fuel cells and batteries still have challenges to overcome. Health-aware control is required as improper usage can lead to severe reduction in lifetime. Both systems are expensive, and the costs related to degradation and replacement are substantial when compared to the conventional internal combustion engine (ICE). Moreover, the characteristics of fuel cells and batteries change significantly as they undergo degradation. This makes it desirable to design an intelligent PEMS that can update the load sharing policy to ensure optimality despite the changing characteristics. A health-aware PEMS, that aims to minimize both fuel consumption and component degradation costs, is essential for making zero-emission shipping competitive with ICEs. Traditional methods range from simple, rule-based control strategies, designed using the knowledge of domain experts, to more advanced optimization methods. Reinforcement Learning (RL), a branch of machine learning (ML), has the potential of outperforming traditional methods as it can adapt and learn continuously from changes in the environment. Optimization based methods rely on a predicted load, which is inaccurate due to the random stochastic nature of the ocean. RL is model free, and does not rely on predicting future loads to control the system. A comprehensive literature review on costs related to fuel cell and battery degradation is conducted. The results are combined in a cost function, which serves as the objective function for learning the optimal power split between fuel cell and battery. Mathematical models for proton exchange membrane fuel cell (PEMFC) stacks and lithium-ion batteries are explored thoroughly. After careful evaluation of the trade-off between accuracy and computational requirement, linearized models for fuel cells and batteries are implemented for online PEMS. The RL algorithms Q-learning, deep Q-learning and soft actor-critic are implemented. In addition, a rule-based algorithm and dynamic programming are implemented to serve as benchmark for the RL algorithms. All models and algorithms are programmed in Python by the authors. Simulation of the models were conducted on a load profile from a real ship, and the performances of the algorithms were evaluated and compared. The deep Q-learning algorithm was able to decrease the cost of fuel cell degradation with 53 %, compared with the best performing benchmark algorithm. The soft actor-critic algorithm managed to reduce the fuel cost by 31 % and the battery degradation cost by 1 %, when compared to the rule-based algorithm. The simulation results indicate that learning algorithms can reduce the total operating costs of ship power systems. Nonetheless, the learning based PEMS has room for improvement, as the field is still immature. Challenges such as complexity in reward function, continuous action and state space, overfitting training data and reliability issues have to be addressed to make it a viable competitor to the existing methods. All these issues are subject to further work.
dc.language
dc.publisherNTNU
dc.titleIntelligent Control Design for Power and Energy Management in Zero-Emission Autonomous Vessels
dc.typeMaster thesis


Tilhørende fil(er)

Thumbnail

Denne innførselen finnes i følgende samling(er)

Vis enkel innførsel