Norwegian Day-ahead Electricity Price Forecasting using AI Models

Abstract

Omleggingen fra de regulerte, lokale monopolkraftmarkedene i Norge til liberaliseringen av krafthandelen som følge av energiloven i 1991, har skapt konkurransekraft blant markedsaktørene. I tillegg kommer den nylige bevisstheten om behovet for klimastabilisering som har gitt ordninger som Parisavtalen og klimaloven som fokuserer på det globale behovet for avkarbonisering som kan løses med fornybare energiressurser. Derfor har en økende mengde av disse kildene oppstått over tid og forventes å øke ytterligere for å nå klimamålene. Den økende mengden av vind-, sol- og vannkraftproduksjon som er avhengig av det uforutsigbare værforholdet, bidrar derfor til volatiliteten i strømprisen som leverandører og forbrukere konkurrerer mot. Godt fungerende prognosemodeller vil være fordelaktig for relevante markedsdeltakere å forutsi de mest gunstige valgene i kraftmarkedsauksjoner slik at de økonomiske fordelene maksimeres. Dyplæringsmodeller (DL) basert på kunstig intelligens (AI) har fått mye oppmerksomhet i det siste for sine gode prognoser og hybridfusjon av DL, AI eller andre tradisjonelle modeller har i nyere tid blitt oppdaget i å forbedre prognosenøyaktigheten ytterligere. Derfor bør kvaliteten på AI-prognosemodeller undersøkes i detalj.

Denne oppgaven evaluerer ytelsen til to vidt differensierende dyplæringsmodeller (DL), nemlig artificial neural network (ANN) og long short-term memory (LSTM) modellene med nødvendig for- og etterbehandling henholdsvis før og etter kjøring av prognosemodellene , sammen med det siste trinnet med å visualisere resultatet for tolkning og analyse av prognoseresultatene. Hybridløsning av slike DL-modeller og maskinlæringsbasert (ML) k-means clustering (datagruppering) utføres også med hensyn til prognoser, med kvaliteten på datagrupperingsmetodikken som skal sammenlignes med manuell gruppering i henhold til typen dag. Supplerende modifikasjoner til DL-modellene som å legge til et skjult lag eller et dropout-lag vil bli implementert for å vitne om enhver forbedring av resultatene. I tillegg kan betydningen og påvirkningen av visse input sparametere, f.eks. temperatur, nedbør og CO\textsubscript{2}-prisdata som har på prognosenøyaktigheten undersøkes.

Day-ahead strømprisen for 2021 i hver av de fem budsonene i Norge skal predikeres. Resultatene indikerer en likhet i resultatene blant de såkalte stabile sonene som består av NO3 og NO4 med stabile og relativt lave strømpriser i 2021, noe som viser å prestere på sitt beste med ANN. De gjenværende budområdene, NO1, NO2 og NO5, kategorisert som de ustabile sonene på grunn av den uhyre oscillerende prisatferden oppdaget i 2021, utmerker seg imidlertid den mest presise prognosen gjennom LSTM-modellen. Verken datagruppering eller ytterligere modellmodifikasjoner bidrar til å forbedre prediksjonen. En annen oppdagelse er hvordan de stabile sonene faktisk får forbedret prediksjon når input data som værforholdselementer og CO\textsubscript{2}-priser blir neglisjert, mens de ustabile sonene ser ut til å være avhengig av disse datatypene. LSTM-modellen er også observert å ha en langsommere reaksjonshastighet når det oppleves brå endringer i strømprisene, i motsetning til den raske ANN-modellen.

The transformation from the regulated, local monopoly power markets in Norway to the liberalization in the electricity trading due to the Energy Act in 1991, has caused competitiveness among the market participants. In addition comes the recent awareness of the need of climate stabilisation that has produced arrangements such as the Paris Agreement and the Climate Law that focus on the global need of decarbonization that may be solved with renewable energy resources. Hence, a magnifying amount of these sources have been arising over time and is expected to further increase in order to reach the climate goals. Thus, the growing number of such insecure resources such as wind, solar and hydropower production depending on non-dispatchable weather conditional elements is leading to the elevated unforeseeable volatility in the electricity price that suppliers and consumers are competing against. Well-performing forecasting models would be beneficial for relevant market participants to predict the most favorable choices in power market auctions such that the economical benefits are maximized. Deep learning (DL) models basing on artificial intelligence (AI) have received much attention lately for its great-performing forecasting and hybrid fusion of DL, AI or other traditional models have in recent time been detected to enhance the forecasting accuracy even further. Thus, the quality of AI forecasting models should be investigated in details.

This thesis evaluates the performance of two vastly differentiating deep learning (DL) models, namely the artificial neural network (ANN) and the long short-term memory (LSTM) models with the needful pre- and postprocessing respectively before and after running the forecasting models, along with the latter step of visualising the outcome for interpretation and analysis of the forecasting results. Hybrid solution of such DL models and machine learning (ML) based k-means clustering is conducted in regards of forecasting as well, with the quality of the data grouping methodology to be compared to manual clustering accordingly to the type of day. Supplementary modifications to the DL models such as adding a hidden layer or a dropout layer will be implemented to testify any amelioration of the results. Additionally, the significance and influence of certain input parameters, e.g. the temperature, precipitation and CO\textsubscript{2}-price data that have on the forecasting accuracy are investigated.

The day-ahead electricity price of 2021 in each of the five bidding zones of Norway is chosen to be predicted. Results indicate a resemblance in the results among the so-called stable zones comprising of NO3 and NO4 with stable and relatively low electricity prices in 2021, revealing to perform at its best with ANN. However, the remaining bidding areas, NO1, NO2 and NO5, categorized as the unstable zones due to the immensely oscillating price behaviour detected in 2021, excel the most precise forecasting through the LSTM model. Neither clustering nor does additional model modifications contribute to enhancing the prediction. Another discovery is how the stable zones in fact gain improved prediction when input data such as weather condition elements and CO\textsubscript{2}-prices are neglected, while the unstable zones seem to be relied on these data types. The LSTM model is also observed to have a slower rate of reaction when abrupt changes are faced in the electricity prices, in contradiction to the rapid ANN model.