Global Models for Time Series Forecasting With Applications to Zero-Shot Forecasting

Abstract

Globale tidsrekkemodeller er tilpasset til et sett med tidsrekker. Dette er i motsetning til lokale tidsrekkemodeller som er tilpasset individuelle tidsrekker. En global tilnærming kan motvirke overtilpasning siden vi bruker færre parametere per tidsrekke. Når antall tidsrekker øker, vil påvirkningen til hver tidsrekke på modellens parametere bli mindre. Det kan føre til vellykket prediksjon av tidsrekker modellen ikke har blitt tilpasset. Dette kalles blind prediksjon.

Denne oppgaven bruker globale tidsrekkemodeller til å predikere det populære M4 datasettet fra M4 konkurransen. M4 datasettet har mer enn 100,000 tidsrekker og er en populær referanse for generelle, envariate tidsrekkemodeller. Vi tilpasser også globale tidsrekkemodeller på et større datasett fra Federal Reserve of Economic Data (FRED) og bruker denne globale modellen til blind prediksjon av M4 datasettet.

Vi vil trekke frem tre funn. For det første ville et enkelt flerlags perceptron (MLP) kunne kommet på andreplass i M4 konkurransen om den ble tilpasset som en global modell. Dette står i kontrast til den lokale MLP referansemodellen fra konkurransen som var rangert som 57 av 59 modeller. For det andre kan et MLP predikere M4 datasettet bra også ved blind prediksjon. En MLP per frekvens ville vært rangert som nr 10 og en modell for alle frekvensene ville vært nr 14. Dette er foran alle de klassiske statistiske referansemodellene beregnet på M4 datasettet. Til slutt, om vi har en modell per frekvens tilpasset FRED datasettet, så kan vi tilpasse kun de siste to lagene til M4 datasettet og oppnå tilsvarende presisjon som om vi hadde tilpasset hele modellen. Det er vanskelig for en modell som er tilpasset alle frekvensene på FRED datasettet å oppnå liknende resultater. En sannsynlig årsak er at denne modellen er mer utsatt for forskjeller i fordelingen til de to datasettene.

Suksessen til globale tidsrekkemodeller på M4 datasettet, både ved bruk av M4 og ved blind prediksjon, er et steg mot generelle globale tidsrekkemodeller. Videre arbeid kan utvide analysen med andre modelltyper, større og mer generelle datasett, og flere tidsrekkeproblemer i tillegg til prediksjon av M4 datasettet.

Global time series models are fitted to a set of time series contrary to local models fitted to individual time series. A global approach can prevent overfitting for deep learning models by using fewer parameters per time series. As the number of time series gets increases, each time series contribute less to the model parameters. This can allow for successful zero-shot forecasting, which is forecasting using a model not fitted to the time series we wish to forecast.

This thesis uses global time series models to forecast the popular M4 dataset from the M4 forecasting competition. The M4 dataset has 100,000 time series and is a popular benchmark for general univariate time series forecasting. We also fit a global model on a larger source dataset from the Federal Reserve of Economic Data (FRED) and use this global model to zero-shot forecast the M4 dataset.

We highlight three of our findings. First, simple multilayer perceptrons (MLP) could have ranked \nth{2} in the M4 forecasting competition when trained as global models. This contrasts with the local MLP benchmark from the competition that ranked \nth{57} out of 59 entries. Second, simple MLPs are also able to forecast the M4 dataset well in a zero-shot setting. One model per frequency ranks \nth{10}, and one model for the full dataset ranks \nth{14}. This is ahead of all of the statistical benchmarks that are fitted to the M4 dataset. Lastly, using one pretrained model from FRED per frequency, we can retrain only the last two layers to reach similar performance to the full model trained on the M4 dataset. One model for all frequencies struggles with the same task, likely because it is more prone to differences in the source and target dataset distributions.

The success of global models on the M4 dataset, both using the M4 dataset and in a zero-shot setting, is a step toward general global models. Future work can expand the analysis with other model types, larger and more general datasets, and more time series tasks besides forecasting the M4 dataset.