Explainable AI (XAI) for grid loss forecasting

Abstract

Å predikere fremtidige verdier av tidsseriedata er en viktig del av driften til mange bedrifter og virksomheter innen mange ulike sektorer. Når forholdene er stabile, kan man fokusere på å optimalisere prediksjonsmodellene og dermed oppnå mest mulig effektiv drift eller oppnå best mulig finansielle resultater. Dersom forholdene endres, kan prediksjonene plutselig bli mye verre, og potensielt få store finansielle eller operasjonelle konsekvenser. I slike situasjoner kan det være avgjørende å ha innsikt i hvordan prediksjonsmodellene fungerer og hvordan de kan forbedres. For maskinlæringsmodeller som ikke er transparente, kan dette oppnås ved hjelp av forklaringsmodeller.

Dette prosjektet er basert på kraftprodusenten TrønderEnergis jobb med prediksjon av nettap, som er tap av elektrisk energi i distribusjonsnettverket. Hver dag kl 12 må TrønderEnergi melde inn hvor mye energi som de forventer vil gå tapt i distribusjonsnettet for hver time den neste dagen. Dette prosjektet har tatt utgangspunkt i dette prediksjonsproblemet og tilhørende datasett, og målet har vært å utforske hvordan best forklare prediksjoner til maskinlæringsmodeller, som kan hjelpe domeneeksperter til å få innsikt i hvordan prediksjonsmodellene har brukt dataene og eventuelt hva som har bidratt til dårlige prediksjoner. Dette kan bidra til å fortelle når man kan ha tillit til prediksjonene og når man må finne alternativer.

Arbeidet startet med en gjennomgang av literaturen innen feltet forklarbar kunstig intelligens, forkortet XAI, som resulterte i en beskrivelse av state-of-the-art og identifisering av aktuelle metoder som kunne passe til problemet. Deretter ble noen av disse metodene valgt ut basert på noen kriterier for videre uttesting, som hva slags forklaringer de kunne produsere. Eksperimenter ble utført med utvalgte metoder på nettap-datasettet til TrønderEnergi, og resultatene ble gjennomgått og evaluert sammen med domeneeksperter hos TrønderEnergi. Spesielt forklaringene for dagene med dårligst prediksjoner ble studert.

En hypotese underveis i arbeidet var at komplekse prediksjonsmodeller som gir ut tolkbar informasjon om indre parametere kunne gi bedre forklaringer enn separate forklaringsmodeller som ikke har noe informasjon om det indre i en prediksjonsmodell. Et eksempel på slik indre informasjon kan være vekter i et nevralt nettverk. Resultatene i dette arbeidet har vist det motsatte, at den beste fremgangsmåten for et slikt prediksjonsproblem er å ha separate prediksjons- og forklaringsmodeller. Da kan man optimalisere prediksjonsmodellen til å gi best mulig prediksjoner, og forklaringsmodellen kan gi forklaringer. Spesifikt ga metoden SHAP gode forklaringer som virket nyttige for domeneekspertene.

In many businesses and industries, forecasting future values of time series data is an important part of the operations of the business. When the conditions are stable, focusing only on optimizing the prediction accuracy in order to operate most efficiently or making the most amount of money is reasonable. However, in times of changing conditions, the prediction accuracy can suddenly get worse, possibly with major financial and operational consequences. In those situations, having transparency or explanations of the predictions can be helpful to understand the new conditions or how to adapt.

This research is based on the problem of grid loss prediction for the Norwegian power producer TrønderEnergi Kraft, that each day need to report to the market operator how much energy that it is expecting to lose in the power grid each hour the next day. The goal of this research has been to investigate how to best explain machine learning based forecasting methods in order to help the domain experts to know if the predictions are to be trusted or not, and possibly identify what contributed to the bad forecasts.

The research began with a review of the state of the art within the field of explainable AI (XAI) in which promising methods for the problem were identified. Then, a selection of the methods were made based on a number of selection criteria, such as what types of explanations that are needed and the forecasting accuracy. Then, experiments were performed using the selected methods, and domain experts from TrønderEnergi evaluated how well the explanations produces by those methods fitted their need for explanations. In particular, the explanations of the predictions from the days with worst prediction accuracy were examined.

One hypothesis made during the work was that complex forecasting models that output interpretable information about its inner workings would be able to provide better explanations than separate explanation methods. The results show that using separate forecasting and explanation methods is the best approach for this forecasting problem. Specifically, the SHAP method provided explanations that domain experts at TrønderEnergi found useful.