Forecast Uncertainty for Univariate Time Series Using Generative Adversarial Networks

Abstract

Når man skal predikere fremtidige verdier av en tidsrekke er usikkerheten i prediksjonene en viktig faktor. Nylig har konkurranser innen tidsrekke-prediksjon vist at nevrale nettverk presterer svært godt, men usikkerhetsmålet for disse er ikke matematisk basert. Samtidig har generative adverseriale nettverk (GAN) vist seg å være et nyttig verktøy for å generere realistiske bilder. Denne masteroppgaven vil undersøke hvordan GAN kan brukes til å estimere den nevnte prediksjonsusikkerheten. Resultatene sammenlignes så med kjente statistiske modeller og moderne metoder for å estimere prediksjonsusikkerheten i nevrale nettverk. Videre vil vi vise hvordan prediksjon flere steg frem i tid påvirker usikkerhetsestimatene og prediksjonsnøyaktigheten.

Vi presenterer et betinget generativt adverserialt nettverk for tidsrekkeprediksjon som er inspirert av andre studier på området, referert til som ForGAN. Først undersøker vi GAN’en sin evne til å estimere enkle sannsynlighetsfordelinger, deretter analysere hvordan noen av de viktigste parameterne påvirker resultatene. Videre sammenligner vi ForGAN modellen med de statistiske metodene og det moderne nevrale nettverket på én syntetisk tidsrekke og tre ekte tidsrekke-datasett, hvor vi predikerer flere steg frem i tid. Prediksjonsintervaller blir brukt for å representere usikkerhetsestimatene, der dekningen og gjennomsnittlig skalert intervallverdi (MSIS) måler kvaliteten på prediksjonsintervallene. Masteroppgaven vil også ta for seg hvordan prediksjonshorisonten påvirker prediksjonsintervallenes dekningen, ved bruk av en rekursiv metode for å predikere flere steg fram i tid.

Resultatene viser at ForGAN’en klarer å estimere gode prediksjonsintervaller for prediksjonsusikkerheten sammenlignet med de statiske modellene og det moderne nevrale nettverket. ForGAN-modellen har også best MSIS for to av de tre ekte tidsrekke-datasettene. Selv om vi oppdager noe problematisk oppførsel, viser ForGAN modellen lovende resultater. Som følge av å ha undersøkt resultatene presenterer vi noen idéer for videre arbeid med å forbedre modellen.

The forecast uncertainty is an important aspect of assessing the quality of a forecast. Recent forecasting competitions have shown the power of deep neural networks in time series forecasting, however, for a standard neural network, the forecast uncertainty is not a mathematically grounded statistic. Concurrently, generative adversarial networks have proved to be a powerful tool for generating realistic images. This thesis aims to show how generative adversarial networks can be used to estimate the forecast uncertainty, and compare the results to well-known baseline models and a state-of-the-art method for estimating forecast uncertainty with neural networks. Further, the thesis also aims to investigate how forecasting multiple steps ahead affect the performance of the uncertainty estimates and the forecast accuracy.

Inspired by recent research in the field, a conditional generative adversarial network for forecasting is presented, namely ForGAN. We first investigate the ability of a GAN to estimate simple distributions without temporal dependencies, and thereafter explore how some key hyperparameters affect the performance of the distribution estimation. Further, the ForGAN is compared to the baseline and state-of-the-art models across one synthetic and three real time series data sets, forecasting multiple steps ahead. Prediction intervals are used to measure the quality of the uncertainty estimates, where the coverage and the mean scaled interval score (MSIS) is used as a measure of the performance. The multi-step performance is investigated through the coverage of the prediction intervals over the forecast horizon, using a recursive strategy to forecast multiple steps ahead.

The results show that the generative adversarial network is able to estimate the forecast uncertainty comparable to the baseline models and the state-of-the-art model. For two of the three real time series, the ForGAN scores best in terms of MSIS. Although some problematic behavior occurs, the ForGAN model shows promising results. Investigating the performance, some ideas for further research arises, in order to improve the performance of the ForGAN.