Optimizing the Inspection Schedule of an Offshore Wind Turbine with Reinforcement Learning

Abstract

Denne rapporten søker å utforske hvordan forsterket læring (RL) kan anvendes til å redusere vedlikeholdskostnader for offshore vindturbiner. Den valgte tilnærmingen er å optimalisere inspeksjonsplanleggingen, og å utforske hvilken effekt dette vil ha på kostnadene. Komponentslitasje er simulert med en 4-tilstands Weibull-Markov-modell og to forskjellige tilnærminger til pålitelighet. Tilstanden til komponentene approksimeres ved hjelp av Monte Carlo-simuleringer. Arbeidet er gjennomføres med ‘Proximal Policy Optimization’ og er programmert i Python. Programmets prestasjon sammenlignes med en kalenderbasert inspeksjonsplanleggingsplan. Rapporten finner at forsterket læring kan anvendes til å forbedre det kalenderbaserte regimet med en liten margin.

Stikkord: Vedlikehold, Inspeksjon, PPO, Weibull, Markov, Monte Carlo simulering, Forsterket læring, Python, RAMS

This report intends to study how reinforcement learning can be used to reduce the maintenance costs for offshore wind turbines. The explored approach is to optimize the inspection scheduling, and to see what effect this will have on the costs. Component degradation is simulated with a 4-state Weibull-Markov model and two different approaches to reliability. The degradation is approximated using Monte Carlo simulations. The work is done with Proximal Policy Optimization and programmed in Python. The performance of the suggested inspection model is measured against that of a calendar-based inspection schedule. The report finds that reinforcement learning can be used to improve on the performance of the calendar-based model by a small margin.

Keywords: Maintenance, Inspection schedule, PPO, Weibull, Markov, Monte Carlo simulation, Reinforcement Learning, Python, RAMS