Designing a Zonal Flexibility Market and Modelling Strategic Behaviour in Combination with the Intraday Market: Combining Optimization and Machine Learning Approaches

Abstract

Mens samfunnet jobber mot en overgang til bærekraftige økonomier for å begrense virkningen av klimaendringer, står kraftnettet overfor økende utfordringer. Integreringen av elektrifisering og fornybare energikilder fører til økt last, noe som resulterer i utfordringer med håndtering av flaskehalser og nødvendiggjør fleksibilitet i kraftsystemet. Velfungerende fleksibilitetsmarkeder spiller en avgjørende rolle i å forbedre fleksibiliteten og sikre optimal utnyttelse av fleksibilitetsressurser av systemoperatører. Imidlertid er det ingen konsensus blant forskere om den optimale utformingen av slike markeder. Mens markedsdesignet bør formidle riktige prisignaler og motivere investeringer i fleksibilitetsressurser der etterspørselen er størst, kan det geografiske omfanget av fleksibilitetsmarkeder skape utfordringer knyttet til likviditet og markedsmakt. Videre øker kompleksiteten i markedsdesignet når det ses i sammenheng med det bredere kraftmarkedet, da det kan gi opphav til arbitrasjemuligheter og sårbarhet for spekulasjon, noe som påvirker den økonomiske effektiviteten til markedsstrukturen. Denne avhandlingen undersøker en nyutviklet utforming av fleksibilitetsmarkeder, spesifikt fleksibilitetsmarkeder med soneprising. Forskningen består av to artikler som undersøker det foreslåtte markedsdesignet fra ulike perspektiver.

Den første artikkelen bygger på arbeidet som ble gjennomført under fordypningsprosjektet høsten 2022. Den introduserer et soneinndelt fleksibilitetsmarked som genererer timesbaserte soner basert på flaskehalser fra spotmarkedsklareringen. Markedets teoretiske ytelse blir evaluert ved å modellere to tilleggstilfeller: en business-as-usual-situasjon som involverer konvensjonell omdirigering uten fleksibilitetsressurser, og et nodeinndelt fleksibilitetsmarked som optimalt utnytter fleksible ressurser. Forskningsresultatene indikerer at det soneinndelte markedet i stor grad samsvarer med den teoretiske ytelsen til sin nodeinndelte motpart. Imidlertid avhenger effektiviteten til det soneinndelte markedsdesignet av overbelastningsnivåer, tilgjengelig fleksibilitet og konfigurasjonen av sonene. Dette fremhever utfordringene knyttet til effektiv oppdeling av et sammenflettet kraftnett og understreker behovet for en sofistikert algoritme for soneinndeling. Likevel reduserer markedsdesignet kostnadene knyttet til håndtering av flaskehalser betydelig sammenlignet med business-as-usual-tilfellet.

Den andre artikkelen utvider rammeverket fra den første artikkelen ved å modellere et intradagmarked. For å fange opp strategisk adferd blant utvalgte markedsdeltakere, presenterer vi en forsterkende læringstilnærming basert på Q-læring-algoritmen. Studien omfatter to ekstra scenarier: ett der strategiske bud kun tillates i intradagmarkedet, og ett scenario uten strategiske bud. I analysen av resultatene identifiserer vi ulike strategier som øker profitten for strategiske deltakere, og undersøker deres påvirkning på markedspriser, samfunnsøkonomisk overskudd og håndtering av flaskehalser.

Resultatene i artikkel nummer to fremhever en betydelig økning i profitt for strategiske markedsdeltakere. Videre viser våre funn at strategisk deltakelse i både fleksibilitetsmarkedet og intradagmarkedet gir en 27% økning i profitt sammenlignet med scenariet hvor strategiske deltakere kun byr i intradagmarkedet.

As the global community endeavors to transition towards sustainable economies in order to mitigate the impact of climate change, the power grid faces escalating challenges. The integration of electrification and intermittent renewable energy sources results in increased loads, leading to Congestion Management (CM) issues and necessitating flexibility within the power system. Well-functioning Flexibility Markets (FMs) play a vital role in enhancing flexibility and ensuring optimal utilization of flexibility assets by system operators. However, there is a lack of consensus among researchers regarding the optimal design of FMs. While the market design should convey accurate price signals and incentivize investment in flexibility assets where the demand is highest, the geographical scope of FMs may pose challenges related to liquidity and market power. Furthermore, the complexity of FM design is compounded when viewed within the broader power market structure, as it may give rise to arbitrage opportunities and be susceptible to gaming, affecting the economic efficiency of the market sequence. This thesis investigates a novel design of FMs, specifically FMs with a zonal grid representation. The research comprises two papers that examine the proposed FM design from different perspectives.

The first paper builds upon the work conducted during the specialization project in the fall of 2022. It introduces a zonal FM design that generates hourly zones based on congestion from the Day-Ahead (DA) schedule. The market's theoretical performance is evaluated by modelling two additional cases: a business-as-usual case involving conventional redispatch without flexibility assets, and a nodal FM design that optimally utilizes flexible assets. The research findings indicate that the zonal FM design closely approximates the theoretical performance of its nodal counterpart. However, the effectiveness of the zonal FM design depends on congestion levels, available flexibility, and the configuration of the zones. This underscores the challenges associated with effectively partitioning a meshed power grid and emphasizes the need for a sophisticated zonal partitioning algorithm. Nevertheless, the market design significantly reduces CM costs compared to the business-as-usual case.

The second paper builds upon the framework of the first paper, expanding it to include the integration of an intraday market alongside the existing FM model. To capture strategic behavior among certain market participants, we present a reinforcement learning framework, based on the Q-learning algorithm. The study encompasses two additional scenarios: one where strategic bidding is limited to the intraday market only, and another scenario without any strategic bidding. Through our analysis, we identify various profit-enhancing strategies adopted by strategic participants and investigate their impact on market prices, social surplus, and CM.

The results highlight a substantial increase in profits for participants engaging in strategic bidding. Moreover, our findings show that strategic bidding in the FM improves rewards by 27% compared to solely bidding strategically in the intraday market.