Quantifying Predictive Uncertainty in Artificial Neural Networks

Abstract

To metoder for å konstruere Bayesianske nevrale nettverk, MC Dropout og SGVB, er implementert og anvendt på et reelt datasett levert av det norske E\&P selskapet Aker BP. Datasettet består av brønndata hentet fra 34 brønner utenfor Norskekysten, og problemet består i å predikere den akustiske S-bølge loggen basert på geofysiske målinger. De resulterende nettverkene kan forklare usikkerheten i modellene (epistemisk) og usikkerheten i dataene (aleatorisk), som utgjør den totale prediktive usikkerheten. Den aleatoriske usikkerheten er modellert på en homoskedastisk og heteroskedastisk måte, og den sistnevnte modellen presterer konsekvent bedre enn den førstnevnte for begge metodene. Videre viser en kvalitativ analyse at den aleatoriske usikkerheten tydelig fanger usikkerheten i dataen.

Alle betraktede modeller oppnår gode estimater for den prediktive usikkerheten. Dette er vist numerisk ved å bruke sammenhengen mellom Bayesianske kredibilitetsintervaller of frekventistiske konfidensintervaller. Videre, ved å se vekk fra den aleatoriske komponenten blir den resulterende usikkerheten høyt underestimert. Følgelig tilskrives størstedelen av den prediktive usikkerheten til dataen.

For SGVB-modellene er den epistemiske usikkerheten reduserbar både når det gjelder å øke treningssettets størrelse og hypoteserommet som representerer modellkompleksiteten. Den epistemiske usikkerheten til de homoskedastiske og heteroskedastiske modellene avtar jevnt når de observerer mer treningsdata, til de konvergerer til omtrent de samme verdiene. Når det gjelder modellkompleksitet, trengs en BNN med ett skjult lag for å forklare vekk den epistemiske usikkerheten, mens en lineær modell ikke er tilstrekkelig. Ved ytterligere å øke modellkompleksiteten forblir den epistemiske usikkerheten tilnærmet konstant. Den epistemiske usikkerheten til MC Dropout-modellene påvirkes tilsynelatende ikke av størrelsen på treningssettet. De er imidlertid sterkt avhengige av hyper-parameteren som tilhører dropout-laget som brukes til å trene modellene.

MC Dropout-modellene trenger nøye justering av en hyper-parameter for å oppnå nøyaktige usikkerhetsestimater, mens SGVB-modellene er mer fleksible når det gjelder den epistemiske usikkerheten. Følgelig konkluderer vi med at SGVB er en bedre metode enn MC Dropout for å estimere den prediktive usikkerheten til kunstige nevrale nettverk.

Det foreslås utvidelser av metodene og analysene for å få en enda rikere fremstilling av den prediktive usikkerheten, og for å redusere regnekraft og forbedre generalisering av modellene.

Two methods for constructing Bayesian neural networks (BNNs), MC Dropout and SGVB, are implemented and applied to a real-world dataset provided by the Norwegian E\&P company Aker BP. The dataset consists of borehole data gathered from 34 wells from offshore Norway, and the problem aims at predicting the acoustic log of S-waves based on geophysical measurements. The resulting BNNs can quantify the uncertainty in the models (epistemic) and the uncertainty in the data (aleatoric), making up the total predictive uncertainty. Moreover, the aleatoric uncertainty is modelled in a homoscedastic and heteroscedastic way, and the latter model is shown to consistently outperform the former for both methods. Furthermore, a qualitative analysis of the aleatoric uncertainty clearly shows that it captures uncertainty in the data at particular points in space.

All considered models are shown to accurately estimate the predictive uncertainty by using an analogy between the Bayesian credible interval and the frequentist coverage probability for a wide range of significance levels. Moreover, by neglecting the aleatoric component, the resulting uncertainty becomes highly under-estimated. Consequently, the majority of the predictive uncertainty is attributed to the data.

For the SGVB models, the epistemic uncertainty is shown to be reducible in terms of increasing the training set size and the hypothesis space representing model complexity. The epistemic uncertainty provided by the homoscedastic and heteroscedastic models steadily decrease when observing more data until converging to approximately the same values. In terms of model complexity, a single layer BNN is needed for explaining away the epistemic uncertainty, while a linear model does not suffice. By further increasing the model complexity, the epistemic uncertainty remains constant. On the contrary, the provided epistemic uncertainty by the MC Dropout models is not affected by the size of the training set. However, they are highly dependent on the dropout rate.

The MC Dropout models need careful tuning of a hyper-parameter to obtain proper uncertainty estimates, while the SGVB models are more flexible in terms of epistemic uncertainty. Consequently, we conclude that the SGVB method is superior to MC Dropout in quantifying the predictive uncertainty in artificial neural networks.

Extensions to the methods and analyses are proposed to obtain an even richer representation of the predictive uncertainty and to reduce inference time and inductive bias.