Uncertainty Estimation in Neural Networks

Abstract

Denne masterrapporten vil se på metoder for usikkerhetsestimering av nevrale nettverk. For å begrense omfanget er bruksområdet for disse nevrale nettverkene landbaserte prosessindustrier. Hovedfokuset vil være usikkerheten til data som inngang til de nevrale nettverkene (aleatorisk), ikke usikkerheten til selve modellen (epistemisk). Hensikten med denne artikkelen er å gi et mål på predikert usikkerhet som er nødvendig for å fullt ut integrere dyplæringsalgoritmer i sikkerhetskritiske applikasjoner. Dette er viktig for å flytte prosessindustrien fra den tradisjonelle måten å drive prosessen på til en mer effektiv og fremtidsrettet. Et usikkerhetsestimat er også viktig å ha før slik teknologi implementeres i omfattende fysiske prosesser for å sikre at ingenting går galt. Imidlertid har disse bransjene svært kompleks dynamikk og sammensetningsmaterialene som brukes er ikke alltid kjent. Dette betyr at det er vanskelig å få den informasjonen og kunnskapen som trengs for å utlede en modell tradisjonelt. For å løse dette vil ulike metoder for usikkerhetsestimering bli sammenlignet basert på forutsetninger og ytelsen til statiske feedforward nevrale nettverk. For å forenkle dette lages en modell som skal gjenspeile sannheten, slik at utviklede metoder kan sammenlignes med dette. Jeg fant at Monte Carlo-sampling og Gaussisk kvadratur er en god tilnærming for usikkerhetsestimering og gir gode resultater sammenlignet med benchmark. Samplingsmetoden har imidlertid en stor beregningskostnad i motsetning til den Gaussiske kvadraturen. Linearisering, fungerer ganske dårlig. Dette betyr at den Gaussiske kvadraturmetoden kan brukes i fremtidig forskning for å avgjøre om det er en god tilnærming i nevrale nettverk og for virkelige applikasjoner. Fremtidig forskning bør identifisere utfordringene ved å bruke denne modellen på en dynamisk stat-rom-modell basert på nevrale nettverk. En metode for å overvinne utfordringene bør implementeres, og til slutt bør den utviklede usikkerhetsestimeringsmetoden for den dynamiske tilstand-rom-modellen sammenlignes.

En-linje: Ved å bruke tradisjonell kontrollteori og statistiske metoder, undersøker denne artikkelen metoder for usikkerhetsestimering av nevrale nettverk med det formål å inkludere mer maskinlæring i beslutningstakingen av landbasert prosessindustri, og viser at Gaussisk kvadratur og Monte Carlo-prøvetaking kan være fordelaktige i videre forskning sammenlignet med de enklere metodene, som linearisering.

Nøkkelord: Kunstige nevrale nettverk, usikkerhetsestimering, prosessindustri, Monte Carlo sampling, linearisering, gaussisk kvadratur

This master thesis will look into methods for uncertainty estimation of neural networks. To narrow the scope, the application area for these neural networks is land-based process industries. The main focus will be the uncertainty of data as inputs to the neural networks (aleatoric), not the uncertainty of the model itself (epistemic). The purpose of this article is to provide a measure of predicted uncertainty that is necessary to integrate deep learning algorithms in safety-critical applications. This is important to move the process industry from the traditional way of running their process to a more efficient and forward-looking one. Uncertainty estimation is also important to investigate carefully before implementing such technology into extensive physical processes to ensure nothing goes wrong. However, these industries have highly complex dynamics, and the composition materials are not always known. This means that it is hard to get the information and knowledge needed to derive a model traditionally. To address this, various uncertainty estimation methods will be compared based on assumptions and the performance of static feedforward neural networks. To simplify this, a benchmark is made as ground truth, so that developed methods can be compared to this. I found that Monte Carlo sampling and Gaussian quadrature is good approaches for uncertainty estimation and performs well compared to the benchmark. However, the sampling method has a large computational cost compared to the Gaussian quadrature. Linearization performs quite poorly. This means that the Gaussian quadrature method can be used in future research to decide if it is a good approach in neural networks and for real-life applications. Future research should identify the challenges of applying this model to a dynamical state-space model based on neural networks. A method for overcoming the challenges should be implemented, and finally, the developed uncertainty estimation method for the dynamical state-space model should be compared.

One-liner: Using traditional control theory and statistical methods, this paper investigates methods for uncertainty estimation of neural networks to include more machine learning in the decision-making of land-based process industry, showing that Gaussian quadrature and Monte Carlo sampling can be advantageous in further research compared to the simpler methods, such as linearization.

Keywords: Artificial neural networks, uncertainty estimation, process industry, Monte Carlo sampling, linearization, Gaussian quadrature