Electricity consumption forecasting with Transformer models

Abstract

Denne studien presenterer en omfattende evaluering av forskjellige maskinlærings- og dyp læringsmodeller, med et spesielt fokus på Transformer-modeller, for korttidsprognoser for strømforbruk. Modellene som ble evaluert inkluderer Ridge Regression, Gradient Boosting Model (GBM), Long Short-Term Memory (LSTM), Bidirectional LSTM (BiLSTM), og Transformer-modeller. Ytelsen, generaliserbarheten og forklarbarheten til disse modellene ble vurdert ved hjelp av flere datasett og under forskjellige forhold.

Transformer-modellen presterte konsekvent bedre enn LSTM og BiLSTM-modellene på tvers av forskjellige datasett og tilbakeblikkshorisonter, noe som demonstrerer dens potensiale som et kraftig verktøy for energiforbruksprognoser. Interessant nok viste Ridge Regression-modellen også robust ytelse på visse datasett, noe som utfordrer den vanlige antagelsen om at mer komplekse modeller nødvendigvis gir bedre ytelse.

Hovedbidraget fra denne studien er implementeringen og evalueringen av Transformer-modeller i domenet for kortsiktig belastningsprognose. Funnene gir foreløpig bevis for at disse modellene, som tradisjonelt brukes på problemer med naturlig språkbehandling, også kan ha noe potensial i dette domenet. Denne studien representerer en initial utforskning, og det håpes at det vil oppmuntre til ytterligere forskning på anvendbarheten av Transformer-modeller i energiforbruksprognoser.

Til tross for de verdifulle innsiktene, anerkjenner studien også flere begrensninger, inkludert de spesifikke forholdene under hvilke modellene ble evaluert og det begrensede utvalget av modeller som ble vurdert. Disse begrensningene fremhever behovet for ytterligere forskning for å utforske ytelsen til andre modeller under diverse forhold, og for å gå dypere inn i konseptet med forklarbarhet i maskinlæring.

This study presents a comprehensive evaluation of various machine learning and deep learning models, with a particular focus on Transformer models, for short-term electricity consumption forecasting. The models evaluated include Ridge Regression, Gradient Boosting Model (GBM), Long Short-Term Memory (LSTM), Bidirectional LSTM (BiLSTM), and Transformer models. The performance, generalizability, and explainability of these models were assessed using multiple datasets and under various conditions.

The Transformer model consistently outperformed LSTM and BiLSTM models across various datasets and lookback horizons, demonstrating its potential as a powerful tool for energy consumption forecasting. Interestingly, the Ridge Regression model also showed robust performance on certain datasets, challenging the common assumption that more complex models necessarily yield better performance.

The primary contribution of this study is the application and evaluation of Transformer models in the domain of Short Term Load Forecasting. The findings offer preliminary evidence that these models, which are traditionally used in Natural Language Processing tasks, may also have some potential in this domain. This study represents an initial exploration, and it is hoped that it will encourage further research into the applicability of Transformer models in energy consumption forecasting.

Despite the valuable insights, the study also acknowledges several limitations, including the specific conditions under which the models were evaluated and the limited range of models considered. These limitations highlight the need for further research to explore the performance of other models under diverse conditions, and to delve deeper into the concept of explainability in machine learning.