Forecast Uncertainty for Univariate Time Series Using Generative Adversarial Networks
Master thesis
Permanent lenke
https://hdl.handle.net/11250/2778351Utgivelsesdato
2020Metadata
Vis full innførselSamlinger
Sammendrag
Når man skal predikere fremtidige verdier av en tidsrekke er usikkerheten i prediksjonene en viktig faktor. Nylig har konkurranser innen tidsrekke-prediksjon vist at nevrale nettverk presterer svært godt, men usikkerhetsmålet for disse er ikke matematisk basert. Samtidig har generative adverseriale nettverk (GAN) vist seg å være et nyttig verktøy for å generere realistiske bilder. Denne masteroppgaven vil undersøke hvordan GAN kan brukes til å estimere den nevnte prediksjonsusikkerheten. Resultatene sammenlignes så med kjente statistiske modeller og moderne metoder for å estimere prediksjonsusikkerheten i nevrale nettverk. Videre vil vi vise hvordan prediksjon flere steg frem i tid påvirker usikkerhetsestimatene og prediksjonsnøyaktigheten.
Vi presenterer et betinget generativt adverserialt nettverk for tidsrekkeprediksjon som er inspirert av andre studier på området, referert til som ForGAN. Først undersøker vi GAN’en sin evne til å estimere enkle sannsynlighetsfordelinger, deretter analysere hvordan noen av de viktigste parameterne påvirker resultatene. Videre sammenligner vi ForGAN modellen med de statistiske metodene og det moderne nevrale nettverket på én syntetisk tidsrekke og tre ekte tidsrekke-datasett, hvor vi predikerer flere steg frem i tid. Prediksjonsintervaller blir brukt for å representere usikkerhetsestimatene, der dekningen og gjennomsnittlig skalert intervallverdi (MSIS) måler kvaliteten på prediksjonsintervallene. Masteroppgaven vil også ta for seg hvordan prediksjonshorisonten påvirker prediksjonsintervallenes dekningen, ved bruk av en rekursiv metode for å predikere flere steg fram i tid.
Resultatene viser at ForGAN’en klarer å estimere gode prediksjonsintervaller for prediksjonsusikkerheten sammenlignet med de statiske modellene og det moderne nevrale nettverket. ForGAN-modellen har også best MSIS for to av de tre ekte tidsrekke-datasettene. Selv om vi oppdager noe problematisk oppførsel, viser ForGAN modellen lovende resultater. Som følge av å ha undersøkt resultatene presenterer vi noen idéer for videre arbeid med å forbedre modellen. The forecast uncertainty is an important aspect of assessing the quality of a forecast.Recent forecasting competitions have shown the power of deep neural networks in timeseries forecasting, however, for a standard neural network, the forecast uncertainty isnot a mathematically grounded statistic. Concurrently, generative adversarial networkshave proved to be a powerful tool for generating realistic images. This thesis aims toshow how generative adversarial networks can be used to estimate the forecast uncertainty,and compare the results to well-known baseline models and a state-of-the-art methodfor estimating forecast uncertainty with neural networks. Further, the thesis also aims toinvestigate how forecasting multiple steps ahead affect the performance of the uncertaintyestimates and the forecast accuracy.
Inspired by recent research in the field, a conditional generative adversarial network forforecasting is presented, namely ForGAN. We first investigate the ability of a GAN toestimate simple distributions without temporal dependencies, and thereafter explore howsome key hyperparameters affect the performance of the distribution estimation. Further,the ForGAN is compared to the baseline and state-of-the-art models across one syntheticand three real time series data sets, forecasting multiple steps ahead. Prediction intervalsare used to measure the quality of the uncertainty estimates, where the coverage and themean scaled interval score (MSIS) is used as a measure of the performance. The multi-stepperformance is investigated through the coverage of the prediction intervals over the forecasthorizon, using a recursive strategy to forecast multiple steps ahead.
The results show that the generative adversarial network is able to estimate the forecastuncertainty comparable to the baseline models and the state-of-the-art model. For twoof the three real time series, the ForGAN scores best in terms of MSIS. Although someproblematic behavior occurs, the ForGAN model shows promising results. Investigating theperformance, some ideas for further research arises, in order to improve the performance ofthe ForGAN.