Reinforcement Learning and Predictive Safety Filtering for Floating Offshore Wind Turbine Control

Abstract

Kunstig intelligens blir sett på som et av de mest betydningsfulle sprangene innen teknologi de siste årene. Underkategorien forsterkende læring har vist eksepsjonelle resultater for problemer som tidligere var antatt umulige. Samtidig er en av de største bekymringene med metoder innen forsterkende læring knyttet til en fullstendig mangel på garantier for ytelse og sikkerhet. Dette har begrenset bruken av metoden i sikkerhetskritiske applikasjoner. Forskningen som presenteres i denne teskten prøver å løse problemet ved å utvikle et rammeverk som kombinerer forsterkende læring med en tilpasset versjon av modell prediktiv kontroll. Kontrolalgoritmen har fått navnet prediktivt sikkerhetsfilter, og brukes i rammeverket på grunn av filters evne til tilfredstille beskraninger og garantere stabilitet. Rammeverket har som mål å bygge bro mellom forskning og virkelige applikasjoner for sikker bruk av forsterkende læring.

Grunnet den store veksten innen utenskjærs vindkraft, i både norsk og internasjonal industri, ble rammeverket anvendt på en flytende vindturbin for å undersøke dets ytelse og anvendbarhet. Den kompliserte dynamikken til vindturbiner fremmer bruken av læringsbaserte metoder, noe som eliminerer behovet for dyre og tidkrevende utledninger av matematiske modeller. Vi viser at bruk av rammeverket kan sikre mot brudd av beskrankninger når en forsterkningslæringsagent styrer turbinen - både under trening og etter utplassering. I tillegg viser vi at det prediktive sikkerhetsfilteret kan akselererer læringen i noen tilfeller.

Rammeverket RL-PSF (Teigen and Malmin, 2021) er skrevet i Python, og er offentlig tilgjengelig som åpen kildekode under GNU General Public License. Implementeringen er designet for å være svært modulær, i den forstand at den kan brukes med en hvilken som helst læringsbasert regulator og ikke er domene- eller applikasjonsspesifikk. Dette vil muliggjøre videre forskning innen fagområdet sikker kunstig intelligens.

Artificial intelligence is seen as one of the most significant leaps in technology in recent years, with the subcategory of reinforcement learning showing exceptional results for previously thought-to-be impossible problems. However, one of the major concerns with reinforcement learning methods is related to a complete lack of guarantees on their performance and safety. This has limited their use in safety critical and high-stakes real-life applications. To this end, our research attempts to address the issue by developing a framework for combining reinforcement learning with an adaptation of model predictive control called the predictive safety filter. The framework, capable of guaranteeing stability and constraint satisfaction, will bridge the gap between research and real-world applications.

The framework is applied to a floating offshore wind turbine, due to their increasing importance and significance in both Norwegian and international industry. The complicated and constantly evolving dynamics of wind turbines promote the use of learning-based methods, eliminating the need for expensive and time consuming derivations of mathematical models. We show that applying our method can ensure constraint satisfaction both during the training and after the deployment of a reinforcement learning agent controlling the turbine. We also show that the predictive safety filter in some cases accelerates the learning.

The framework RL-PSF (Teigen and Malmin, 2021) is written in Python, and is publicly available as open-source code under the GNU General Public License. The implementation is designed to be highly modular, in the sense that it can be used with any learning-based controller and is not domain or application specific. This will enable further research in the field of safe artificial intelligence.