Vis enkel innførsel

dc.contributor.advisorLangseth, Helge
dc.contributor.authorKillingberg, Ludvig
dc.date.accessioned2021-09-15T16:51:02Z
dc.date.available2021-09-15T16:51:02Z
dc.date.issued2021
dc.identifierno.ntnu:inspera:74730513:26747222
dc.identifier.urihttps://hdl.handle.net/11250/2778086
dc.description.abstractBayesianske nevrale nettverk generaliserer nevrale netverk ved å tillate stokastiske variabler som parametre. Nevrale nettverk holder seg typisk til å maksimere sannsynlighetesestimatorer for å finne optimale vekter. Vi ser ofte at dette fører til overkonfidente modeller som ikke generaliserer til ny data. Regulariseringsteknikker blir ofte brukt for å bekjempe dette. I praksis fungerer dette bra, men modellparameterene er fremdeles begrenset til punktestimater. Ved å istedenfor predikere hele posterior-distribusjonen til paramterene kan modellen kapre både epistemisk og aleatorisk usikkerhet. Nåværende teknikker for å implementere Bayesisk nevrale nettverk baserer seg på å tilpasse en parameterisert distribusjon til å passe den sanne posteriori distribusjonen. Noen av disse metodene har sterke begrensningen for fleksibiliteten av tilpasningsdistribusjonen. Vi utvikler en metode for å kunne tilpasse fleksible parameteriserte distribusjoner til vektene i nevrale nettverk. I denne rapporten har vi lagt et teoretisk grunnlag for en ny metode for å implementere Bayesianske nevrale nettverk og forsvarer dette med eksperimentelle resultater. Vi presenterer en ny metode for å generere vekter i et Bayesiansk nevralt nettverk med generative adversarial networks. Først viser vi at nevrale nettverk har muligheten til å approksimere KL-divergensen mellom to distribusjoner. Vi kombinerer dette med et generativt nettverk for å lære en approksimasjon til den posteriore distribusjonen til vektene i et Bayesiansk nevralt nettverk. Vi presenterer så resultater fra eksperimenter som viser at vi har utviklet en metode som kan konkurrere med 'state-of-the-art' innen Bayesianske nevrale nettverk.
dc.description.abstractBayesian neural networks refer to an extension of neural networks made by treating each parameter as a stochastic variable rather than a point estimate. From a probabilistic perspective, neural networks limit themselves to a maximum likelihood estimation for its parameters. This method is prone to overfitting, as we often see happen. Typically regularization techniques are applied to avoid this, which, if we look at it from a probabilistic perspective, is equivalent to maximum a posteriori estimation. Although this works well in practice, neural networks are still restricting themselves to point estimated parameters. By instead predicting the full posterior on each weight, we can model both the epistemic and aleatory uncertainty in the data. Current implementations for Bayesian neural networks rely on approximating the posterior distribution with variational distributions. Some of these methods can severely limit the flexibility of the posterior and thus the performance of the model. Joining ongoing work in the field, this thesis aims to improve the flexibility of the approximate posterior. In our work, we use both theoretical and experimental approaches to develop a novel method for Bayesian inference in neural networks. We provide the mathematical foundation for a new method of approximating posterior distributions and support it with experimental results. We present a new method for generating posterior distributions in Bayesian neural networks through generative adversarial networks. Initially, we show that neural networks are able to approximate the KL-divergence between two distributions and go on to use this with a generative network to learn the posterior distribution of the weights in a Bayesian neural network. In experiments, we show that this method is able to compete with the state-of-the-art methods in the field with respect to both accuracy and predictive uncertainty.
dc.languageeng
dc.publisherNTNU
dc.titleGenerative Adversarial Networks for Flexible Variational Posteriors in Bayesian Neural Networks
dc.typeMaster thesis


Tilhørende fil(er)

Thumbnail

Denne innførselen finnes i følgende samling(er)

Vis enkel innførsel