En kort innføring i tidsrekker og en sammenligning av ARIMA, SARIMA, SVR og LSTM

Abstract

Denne teksten er bygd opp i to hoveddeler. Den første delen er en teoretisk en, og vil handle om: (1) tidsrekker og viktige begreper innen tidsrekkeanalyse; (2) litt av teorien bak fire tidsrekkemodeller, nemlig Autoregressive Integrated Moving Average (ARIMA), Seasonal Autoregressive Integrated Moving Average (SARIMA), Support Vector Regression (SVR) og Long Short-Term Memory (LSTM); (3) teorien bak noen av presisjonsmålene AIC, MSE, RMSE og MAPE. I den andre delen vil jeg sammenligne ARIMA, SAMIRA, SVR og LSTM med hverandre på univariat data ved å sammenligne RMSE og MAPE på treningsdata, testdata, og prognoser av 1, 3, 5 og 10 steg i fremtiden. Dataene brukt i testen er en samling av 10 ulike datasett for å reflektere modellenes evne til å gi prognoser så bra som mulig. Merk: dette resultatet er på ingen måte en fasit, og poenget med hele teksten er heller å få et lite innblikk i hvordan tidsrekker og de nevnte modellene fungerer i teori og praksis. Den praktiske delen er hovedsakelig inspirert av Statistical and Machine Learning forecasting methods: Concerns and ways forward (2018) av Spyros Makridakis, Evangelos Spiliotis og Vassilios Assimakopoulos, der de bruker 1045 månedlige tidsrekker for å sammenligne ulike klassiske tidsrekkemodeller med maskinlærings- og dyplæringsmodeller.

This text is divided into two main parts. The first part is a theoretical one, and will deal with: (1) time series and important concepts in time series analysis; (2) some of the theory behind four time series models, namely Autoregressive Integrated Moving Average (ARIMA), Seasonal Autoregressive Integrated Moving Average (SARIMA), Support Vector Regression (SVR) and Long Short-Term Memory (LSTM); (3) the theory behind AIC, MSE, RMSE and MAPE. In the second part, I will compare ARIMA, SAMIRA, SVR and LSTM with each other on univariate data by comparing RMSE and MAPE on training data, test data, and forecasts of 1, 3, 5 and 10 steps into the future. The data used in the test is a collection of 10 different data sets to reflect the models' ability to provide forecasts as well as possible. Note: this result is by no means a conclusion, and the point of the whole text is rather to get a little insight into how time series and the mentioned models work in theory and practice. The practical part is mainly inspired by Statistical and Machine Learning forecasting methods: Concerns and ways forward (2018) by Spyros Makridakis, Evangelos Spiliotis and Vassilios Assimakopoulos, where they use 1045 monthly time series to compare different classic time series models with machine learning and deep learning models.