Selecting time series forecasting models based on time series characterizations

Abstract

Prediksjon av tidsserier er et viktig verktøy for å forutsi fremtiden, både i vitenskapelig forskning og i hverdagen vår. Nyere forskning og prediksjons-konkurranser har vist at ulike prognosemodeller har varierende ytelse basert på datasettene som prognoseres, så det å velge riktig prediksjons-modell som passer til datasettende er en avgjørende oppgave. I denne avhandlingen diskuteres en ny tilnærming til valg av prediksjonsmodeller basert på Case Based Reasoning. Der karakteristikkene av tidsseriedatasett fra tidligere løste prediksjonsproblemer brukes til å finne en optimal prognosemodell for nye inndata.

Denne avhandlingen undersøker gjeldende forskning på tidsseriekarakteristikker innenfor feltene tidsserieanalyse og modellvalg. Deretter utforskes to mål på likhet som metoder for å sammenligne datasettrepresentasjoner for å hente ut tidligere erfarte prediksjonsproblemer fra kunnskapsbasen. De to likhetsmålene og tre tidsseriedatasettkarakteristikker blir deretter evaluert utifra 42 dataset og resultater fra 12 ulike prediksjonsmodeller, gjort tilgjengelig fra Monash Time Series Forecasting Repository.

Resultatene av denne avhandlingen viser at det er en neglisjerbar korrelasjon mellom de tre datasettkarakteristikkene og nøyaktigheten til prediksjonsmodellene.

Time series forecasting is an important tool to predict the future in both scientific research and our daily lives. State of the art research and time series forecasting competitions have shown that different forecasting models have varying performance based on the input data, so selecting the correct model to match the input data is a crucial task. In this thesis a novel approach to time series forecasting model selection, based on case-based reasoning is presented. Where time series dataset characterizations of previously solved forecasting problems is used to find an optimal forecasting model for the new input datasets.

This thesis explores the state of the art research of time series characterizations within the fields of time series analysis and model selection. Then, two measures of similarity are explored as methods of comparing dataset feature representations for retrieving past experienced cases from the CBR knowledge base. The two similarity measures and three time series dataset characterizations are then evaluated across 42 real world and competition datasets and 12 statistical and machine learning model results from the Monash Time Series Forecasting Repository. The findings of this thesis show that there is negligible correlation between the three dataset characterizations and time series forecasting model performance.