An Analysis of UK Natural Gas Prices Comparing Regression, Neural Nets and Gradient Boosting Techniques

Abstract

I denne masteroppgaven ble det utført en komparativ analyse av de tre ulike modelleringsmetodene: multippel lineær regresjon, gradient boosting metoden XGBoost og det nevrale nettverket Long Short-Term Memory (LSTM). For ˚a sammenligne modellene ble tidsserie data for naturgassprisen i UK brukt. M˚alet med denne masteroppgaven var ˚a utforske i hvilken grad de ulike modelleringsmetodene klarte ˚a konstruere sammenhenger mellom variabler, som p˚avirker naturgassprisen, og vurdere deres prediksjonsytelse for en svært volatil handelsvare som gassprisen. Disse tre modellene representerer forskjellige grener av modellering som tradisjonell statistisk modellering, maskinlæring og nevrale nettverk. To ulike perioder ble valgt for ˚a vurdere modellene: en periode under en stabil markedssituasjon mellom 2018 og begynnelsen av 2020, og en annen periode under en markedskrise som startet med gassleverandørkrisen i Storbritannia i 2021 og fortsatte med Russlands invasjon av Ukraina. Dataene dekker perioden fra begynnelsen av 2009 til slutten av 2022. I den ”normale” perioden presterte alle tre modellene tilfredsstillende med hensyn til prediksjon, der multiple lineær regresjonsmodell viste en noe svakere ytelse enn de to andre. LSTM-modellen presterte marginalt bedre enn XGBoost. I den svært volatile perioden lyktes regresjonsmodellen med ˚a fange opp pris-dynamikken og identifiserte to av de tre store pris-hoppene. For den gjennomsnittlige prediksjonsnøyaktigheten var LSTM-modellen best, med XGBoostmodellen like bak og sist, regresjonsmodellen. B˚ade LSTM og XGBoost hadde problemer med ˚a ekstrapolere de bratte prisstigningene, men viste fortsatt en god tilpasningsevne.

This master thesis presents a comparative analysis of three different modeling methods: multiple linear regression, the gradient boosting technique XGBoost, and the neural network Long Short-Term Memory (LSTM). To compare the models, the financial time series of the natural gas price in the UK was used. The main goal of this investigation was to explore the effectiveness of different modeling approaches in capturing the complex relationships between variables that impact the natural gas price and assess their predictive performance on a highly volatile commodity such as the gas price. These models represent distinct branches of modeling, including traditional statistical modeling, machine learning, and neural networks. Two different periods were selected to assess the models’ efficacy, one period during a stable market between 2018 and the beginning of 2020, and the other during a market crisis that started with the 2021 natural gas supplier crisis in the UK and continued with the Russian invasion of Ukraine. The data covered the period from the beginning of 2009 to the end of 2022. During the ”normal” period, all three models performed adequately in terms of prediction, with the multiple linear regression model showing a slightly weaker performance than the other two. The LSTM model marginally outperformed XGBoost. During the highly volatile period, the multiple linear regression model demonstrated success in capturing the price dynamics and did successfully identify two significant price surges, out of the three observed. In terms of overall prediction accuracy, the LSTM model exhibited the best performance, with the XGBoost model a close second, and the multiple linear regression model exhibited a comparatively lower performance. However, both LSTM and XGBoost struggled to extrapolate the price surges but still demonstrated a strong overall fit.