Combining Grid-Based Uncertainty Propagation and Neural Networks With Uncertainty Estimation

Abstract

Punktbaserte metoder for deterministisk videresending av usikkerhet kan benyttes i kombinasjon med usikkerhetsestimering for nevrale nettverk. Dette kan brukes for å modellere dynamiske tilstandsromprosesser samt deres prosessusikkerhet ved hjelp av nevrale nettverk. Disse metodene kan gi kalibrerte usikkerhetsestima- ter når de benyttes for å modellere og simulere dissipative første ordens systemer.

Denne masteroppgaven innen kybernetikk viser hvordan deterministiske punkt- baserte algoritmer for videresending av usikkerhet (f.eks. the unscented transform) kan benyttes på maskinlæringsalgoritmer med en variabel (heteroskedastisk) pre- diksjonsusikkerhet. Videre utforskes en metode for å lære systemdynamikk og tilknyttet usikkerhet ved hjelp av nevrale nettverk med usikkerhetsestimering. Her benyttes nylig utviklede metoder for usikkerhetsestimering i nevrale nettverk i kombinasjon med punkbaserte metoder for videresending av usikkerhet.

Metodene blir anvendt på et eksperiment med ekte data fra en vindmølle- park i Norge. De benyttes der for modellere temperaturutviklingen i lageret der akslingen til vindturbinene roterer. Resultatene viser at konfidensintervaller for temperatur som forutsies av et nevralt nettverk kan generalisere når nettverket anvendes på nye vindturbiner. Eksperimentet indikerer at det er mulig å mod- ellere førsteordens dynamikk sammen med prosessusikkerhet ved hjelp av nev- rale nettverk. Det ble observert en avveining mellom nøyaktighet i prediksjon og nøyaktighet i usikkerhetsestimater, men dette kan trolig reduseres ved å kom- binere ulike usikkerhetsestimeringsmetoder og forbedre optimeringsprosedyren.

Hovedbidragene fra denne masteroppgaven er: i) Derivasjon av ligninger som lar oss anvende eksisterende punktbaserte algoritmer for videresending av usik- kerhet på modeller med variabel prediksjonsusikkerhet, ii) Demonstrasjon av hvordan dette kan benyttes for å modellere prosessdynamikk og prosessusikkerhet ved hjelp av nevrale nettverk, og iii) Anvendelse av metodene for å modellere temper- aturutviklingen i lageret til akslingen på ekte vindturbiner, med usikkerhetsmål.

We can apply grid-based methods for deterministic uncertainty propagation in combination with uncertainty estimation algorithms for neural networks. This can be used to model dynamical processes and their uncertainties using neural networks. Further, such methods can yield calibrated uncertainty estimates when forecasting with dissipative first order systems.

This master’s thesis in engineering cybernetics develops and applies an ap- proach to employing existing grid-based uncertainty propagation methods (e.g. the unscented transform) on machine learning algorithms which have a variable (heteroscedastic) output uncertainty. Further, the thesis explores a method of jointly learning the process dynamics and process uncertainty in a dynamical system. This method applies recent advances in predictive uncertainty estimation for neural networks in combination with grid-based uncertainty propagation.

The methods are applied on a real world dataset, to model the temperature evolution in the main bearing of wind turbines at a Norwegian wind farm. It’s found that the temperature confidence intervals predicted by a neural network- based method when simulating generalizes to other wind turbines. The results in- dicate that it is feasible to jointly model first order process dynamics and process uncertainty with neural networks. Though a trade-off between predictive accur- acy and calibration was observed, this can likely be mitigated by fine-tuning the uncertainty estimation methods and optimization procedures.

The main contributions from this thesis are: i) Derivation of equations for applying grid-based uncertainty propagation methods on systems with variable output uncertainty, ii) Demonstration of how this can be used to model process dynamics and process noise using neural networks, and iii) Application of the methods to model the temperature of a wind turbine main bearing with uncer- tainty estimates.