Neural Ordinary Differential Equations for Forecasting in the Energy Sector

Abstract

Nevrale Ordinære Differentiallikninger (NODE) [Chen et al., 2018] er en ny familie av nevrale nettverk som eksplisitt modellerer nettverkets skjulte tilstand som et dynamisk system, og løser dette systemet ved å bruke en numerisk differ- ensialligningløser som en komponent i nettverket. Denne oppgaven gjennfører en innledende undersøkelse av NODE til prognosering av ulike tidsserieproblemer i energisektoren. Så vidt jeg vet, har dette ikke blitt gjort før. Elektrisitet er en utfordrende vare på grunn av sin korte levetid når den først er blitt produsert. Energileverandører må kontin- uerlig følge med på etterspørselen og tilbudet i markedet for å være lønnsomme. De små marginene og store handlede kvanta betyr at en liten forbedring av effektivitet gir en stor forbedring i avkastning. Min hypotese er at NODE har en spesiell fordel til prognosering av tidsserier på grunn av deres evne til å lære den underliggende dynamikken til det konrekte systemet. Gjennom empirisk eksperimentering testes fem forskjellige NODE-modeller på tre energiprog- noseproblemer. Disse problemene har en prognosehorisont på 1 til 24 timer. I tillegg til å undersøke nøyaktighet, blir påstander om fordelaktige egenskaper testet for verifisering, og spesifikke elementer i NODE-treningsprosessen blir undersøkt. Resultatene indikerer at NODE-modeller er i stand til å utkonkurrere eksisterende modeller på en 24-timers horisont, og er sammenlignbare på en 1-timers horisont. Med disse lovende funnene, er konklusjonen at ytterligere eksperimentering med NODE kan føre til verdifulle resultater.

Neural Ordinary Differential Equations (NODE) [Chen et al., 2018] is a novel family of neural networks which ex- plicitly model the hidden state as a dynamic system, and solves this system using a numerical ordinary differential equation (ODE) solver as a network component. This thesis performs an initial study on the applicability of NODE to various time series forecasting problems in the energy sector. To the best of my knowledge this has not been done before. Electricity is a challenging commodity due to its short lifetime once produced. Energy providers continuously need to keep track of the demand and supply in the market in order to be profitable. The small margins and large trade quantities means a small improvement in efficiency yields a big improvement in returns. My hypothesis is that NODE have a special advantage on forecasting time series due to their ability to learn the underlying dynamics of the pre- dicted system. Through empirical experimenting, five different NODE models are tested on three energy forecasting problems. These problems have a forecasting horizon of 1 to 24 hours. In addition to forecasting accuracy, claims on advantageous properties are tested for verification, and specific elements of the NODE training process are examined. The results indicate NODE models are able to outperform existing models on a 24 hour horizon, and perform com- parable on a 1 hour horizon. As the findings are promising, the conclusion is that further experimentation on NODE could lead to valuable results.