Forecasting Univariate Time Series with Missing Data

Abstract

Manglande data er ikkje-observerte verdiar for ein variabel, og er ofte å finne i tidsrekkjer frå den verkelege verda. Ved å lage modellar som beskriv tidsrekkjer kan ein lage estimat på framtidige verdiar av det tidsrekkja beskriv. Dette er eit nyttig verkty som blir brukt i samfunnet rundt oss på kvardagsleg basis. Verksemder estimerer etterspørsel og kan planleggje produksjon deretter. Investorar brukar det til å estimere aksjeavkastningar. Tradisjonelt er det statistiske metodar som har gjort det best på dette området, men i det siste har maskinlæringsmetodar blitt populære og både konkurrerer med og gjer det betre enn dei klassiske metodane. For data som tidsrekkjer har det nevrale nettverket LSTM gjort det bra på grunn av sitt minne, og er den type læringsmodell som blir brukt i denne oppgåva. Oppgåva å estimere framtidige verdiar av tidsrekkjer når dei inneheld manglande data er utfordrande, då dei fleste metodane krev fullstendig data. Difor må dei handterast på best mogleg måte, om ikkje vil det kunne føre til redusert statistisk haldbarheit og innføring av bias. Me ynskjer at modellen som skal estimere framtidige verdiar også skal kunne handtere manglande data på ein robust måte. Måten det blir gjort på i denne oppgåva er å utvide tidsrekkjene med ein binær variabel som indikerer kvar i tidsrekkja verdiane manglar (1) og er observert (0). Dette er det nye dataformatet som læringsmodellen vil bli trena med, og slik kan modellen direkte handtere manglande data ved å inkorporere mønsteret av dei manglande verdiane i modellen. I prosjektoppgåva mi viste denne metoden seg for å vere robust mot aukande andelar av manglande data. Makridakis-konkurransane har nyleg vist lovande resultat for globale modellar. Globale modellar er trena med mange tidsrekkjer og kan estimere framtidige verdiar for dei alle. Ein annan læringsmetode av aukande popularitet er noko kalla multitask læring. Då bli ein modell trena til å lære seg fleire relaterte oppgåver samtidig med håpet om at modellen kan dra utnytte av relasjonen mellom dei for å gjere dei individuelle oppgåvene betre. I denne oppgåva blir det utforska om det å estimere framtidige verdiar og estimere manglande verdiar er relaterte, og om det å estimere manglande data kan forbetre estimeringa av framtidige verdiar. Det er altså ein global, multitask bi-LSTM modell som robust kan handtere manglande data som blir utforska i denne oppgåva. Hovudfokuset er å sjå om modellen trena for både estimering av framtidige og manglande verdiar vil gjere det betre enn modellen berre trena for estimering av framtidige verdiar. Gjennom eksperimenta er det fleire ting som blir varier for å sjå korleis det har innverknad på resultatet. Dette er arkitekturen til det nevrale nettverket, vektinga av den ekstra oppgåva, samt kor mykje manglande data det er i tidsrekkjene. To ulike datasett blir brukt i ekperimenta, nemleg eit syntetisk og simulert SARIMA datasett, og eit elektrisitetsdatasett frå den verkelege verda. Me finn modellen til å oppføre seg robust mot manglande data, og den ekstra oppgåva med å estimere dei manglande verdiane forbetrer hovudoppgåva i mange av eksperimenta. Særleg er resultata signifikante for elektrisitetsdatasettet når det er mykje data som manglar. Den modellen som i størst grad får utbytte av hjelpeoppgåva er nettverket med tre gøymde lag på elektrisitetsdatasettet. Denne modellen forbetrar estimata av framtidige verdiar for alle gradar av manglande data. Me finn også at model- len berre trena for estimering av framtida blir meir robust når det blir lagt til eit ikkje-lineært ReLU lag i modellen.

Forecasting of time series is to predict future values based on historical values using models somehow describing the time series data. Making informative estimates of the future are a useful tool used by our society every day. Businesses use it to plan productions based on estimated demands and investors to predict stock returns. Statistical forecasting methods have traditionally been giving the best estimates. However, Machine Learning approaches have recently given performances outperforming them. Long Short-Term Memory neural networks (LSTMs) have become popular for sequential data like time series and are used in this thesis. Missing data are values not observed for a variable of interest and are often found in real-world time series. Forecasting time series with missing data is challenging since most forecasting techniques require the time series to be complete. Thus, the missing values must be handled properly or suffer from reduced statistical power and biased estimates. We want a forecasting model that handles missing values robustly. We add a Missing Value Indicator (MVI) to the model in- put representing where values are missing (1) and not (0), as this has shown to be a robust way of handle missing values in my specialization project. This approach handles missing data directly and incorporates the pattern of the missing values into the model. The Makridakis competitions have recently shown promising results for global models. Global models are trained with numerous time series and can forecast all of them, in contrast to local models where every time series has individual forecasting models. Another learning method of increasing popularity is Multi-task Learning. A multi-task learning model is trained jointly on related tasks to improve the individual tasks by utilizing information from each other. We hypothesize forecasting and imputation to be related tasks and train them in a global multi-task model. A global, multi-task bi-directional LSTM forecasting model with robust handling of missing values and the auxiliary task imputation is explored in this thesis. Through the experiments, the architecture of the bi-LSTM block, the weighting of the imputation loss, and the amount of missing data in the time series are varied. The main objective is to find out if imputation can improve forecasting. We use two different data sets, a synthetic, simulated data set from SARIMA processes and a real-world electricity data set. We find the suggested multi-task forecasting model to perform better than the single-task model. Especially for higher ratios of missing values in the test data. However, for some model architectures, the imputation task is helping the forecasting performance for all ratios of missing values. The model performs best on the real-world electricity data, where a Bi-LSTM model with three hidden layers gives the best utilization of the auxiliary task imputation. Another finding is that an additional ReLU layer makes the single-task forecasting model more robust.