Explain errors and improve timeseries forecasting models using XAI

Abstract

Tidsserieprognoser er avgjørende for finansinstitusjoner og bransjer, og krever forskjellige modeller for forskjellige årstider og tidslinjer for å oppnå nøyaktige spådommer. Uventede feil oppstår imidlertid ofte på grunn av endringer i underliggende mønstre eller eksterne faktorer. I slike tilfeller kan forklaringer av disse feilene være verdifulle for å redusere prognoseunøyaktigheter.

Denne oppgaven ser på både de teoretiske og praktiske sidene av Explainable AI (XAI) metoder for tidsserier og avvikdeteksjon. Den teoretiske delen utforsker hvordan XAI-konsepter kan brukes i tidsserieanalyse og forbedring. Derimot fokuserer den eksperimentelle delen på å generere forklaringer for både vellykkede og feilaktige prognoser og bruke dem til å forbedre modellytelsen. Sammenlignende evalueringer av alle eksperimentelle teknikker er også utført.

Undersøkelsen avslører at selv om ulike teknikker kan forbedre modellytelsen, er de fleste uegnet for tidsseriedatastrukturer, noe som krever modifikasjoner. En nøkkelhypotese foreslår at modifisering av treningsdata er mer effektivt for å forbedre modellytelse enn å endre interne modellstrukturer eller introdusere verdi-/policyfunksjoner. Faktisk viser resultatene betydelige ytelsesforbedringer gjennom datamodifikasjoner. Imidlertid venter ytterligere eksperimenter med andre tilgjengelige metoder.

Funnene i denne oppgaven viser potensialet til XAI i å forbedre nøyaktigheten av tidsserieprognoser. Dessuten antyder arbeidet viktigheten av fortsatt forskning på forskjellige XAI-teknikker og deres innvirkning på modellens ytelse.

Time series forecasting is crucial for financial institutions and industries, requiring diverse models for different seasons and timelines to achieve accurate predictions. However, unexpected errors often occur due to shifts in underlying patterns or external factors. In such cases, explanations of these errors can be valuable to reduce forecasting inaccuracies.

This thesis looks at both the theory and practical sides of Explainable AI (XAI) methods for time series and outlier detection. The theoretical part explores how XAI concepts can be used in time series analysis and improvement. In contrast, the experimental part focuses on generating explanations for both successful and erroneous forecasts and using those to improve model performance. Comparative evaluations of all experimental techniques are also conducted.

The investigation reveals that while various techniques can enhance model performance, most are unsuitable for time series data structures, necessitating modifications. A key hypothesis proposes that modifying training data is more effective in improving model performance than altering internal model structures or introducing value/policy functions. Indeed, the results demonstrate significant performance improvements through data modifications. However, further experiments with other available methods are pending.

The findings of this thesis show the potential of XAI in enhancing time series forecasting accuracy. Moreover, the work suggests the importance of continued research into different XAI techniques and their impact on model performance.