Uncertainty estimation in autoregressive exogenous networks and nonlinear autoregressive exogenous neural networks

Abstract

Autoregressive eksogene (ARX) nettverk og ikke-lineære autoregressive eksogene (NARX) nevrale nettverk er avhengige av et mål på usikkerhet hvis de skal brukes til sikkerhets kritiske oppgaver, der feil valg i det verste tilfellet kan føre til alvorlige ulykker. Det finnes to hovedtyper av usikkerheter man kan estimere i nevrale nettverk; modell-usikkerhet og data-usikkerhet. Den første kommer av manglende datapunkter i treningssettet som nettverket trenes på, og den andre er forårsaket av usikkerhet knyttet til nettverkets innganger.

I denne masteroppgaven er foreslås det en data-usikkerhetsestimeringsmetode som propagerer forventningsverdier og kovarianser gjennom nettverket. Denne metoden er testet på et ARX nettverk i kombinasjon med et Kalman filter, som resetter den estimerte variansen. Kalman filteres systemligninger er bestemt av ARX nettverkets modellparameter. Videre vil denne data-usikkerhetsestimerings metoden bli teste på et nevralt nettverk og et NARX nevralt nettverk. En modell-usikkerhetsestimeringsmetode vil også bli teste på et NARX nevralt nettverk. Denne bruker dropout til å estimer modell-usikkerheten.

Data-usikkerhetsestimeringsmetoden kan brukes til å oppnå gode estimater for usikkerheten i ARX nettverk og nevrale nettverk. Metoden gir også et estimat for data-usikkerheten i et NARX nevralt nettverk, men dette estimatet er ikke et godt estimat på den reelle data-usikkerheten i nettverket. Model-usikkerhetsestimeringsmetoden estimerer høyere usikkerhet for prediksjoner som er underrepresenterte i treningssettet. Videre, skalerer den estimerte usikkerhet med hvor representert dataen som prediksjonen er utført på er i treningssettet.

Autoregressive exogenous (ARX) networks and nonlinear autoregressive (NARX) neural networks are reliant on a measure of uncertainty if they are going to be employed in safety critical tasks, where wrong decisions in the worst case scenario can lead to serious accidents. There are two main types of uncertainties which can be estimated in neural networks; epistemic uncertainty and aleatoric uncertainty. The former is caused by missing data-points in the training set the network is trained on. The latter, on the other hand, is caused by uncertainties in the network's inputs. %Problem, methods,result,konk

In this thesis, a method which propagates means and covariance through the network is proposed to estimate the aleatoric uncertainty. This method is tested on an ARX network in the combination with a Kalman filter which resets the estimated variance, where the system equations of the Kalman filter is given by the ARX network's model parameters. Further, is the aleatoric estimation method tested on a neural network and a NARX neural. Moreover, an epistemic uncertainty method which use dropout at test time to estimate uncertainty is applied to a NARX neural network.

The aleatoric uncertainty estimation method can be used to get good estimates of the uncertainty in ARX networks and neural networks. The method does also offer an estimate of the aleatoric uncertainty in a NARX neural network. However, this estimate is not a good estimate for the true aleatoric uncertainty in a NARX neural network. The epistemic uncertainty method estimates a higher uncertainty when predictions are made on data underrepresented in the training set. Furthermore, the uncertainty estimates scale with how represented the data on which the prediction is made is in the training set.