| dc.description.abstract | I denne oppgaven presenterer vi en klasse med modeller kalt "normalising flows". Dette er en klasse med modeller som drar nytte av fleksibiliteten og de beregningsmessige fordelene som tilbys av det moderne dyp lærings-paradigmet, og bruker det til å definere et generelt rammeverk for modellering av fleksible og høy-dimensjonale sannsynlighetstettheter. Vi motiverer bruken av normalising flows gjennom å argumentere med at modellering av fleksible sannsynlighetsfordelinger har anvendelser innenfor et bredt spekter av statstikk- og maskinlærings-problemer. Vi retter fokuset vårt spesielt mot tetthetsestimering og tilnærmet Bayesisk inferens. Som en del av introduksjonen til normalising flows, gjennomfører vi et sett med eksperimenter med en "planar flow", med mål om å hjelpe leseren med å bygge intuisjon for normalising flows.
Videre gir vi en tydelig innføring i feltet "autoregressive normalising flows", som kombinerer klassisk autoregressive modellering med moderne normalising flow. Dette har lenge vært en av de mest innflytelsesrike klassene med modeller i litteraturen om normalising flows. Vi gir en sammenhengende presentasjon av de nødvendige konseptene for å sette seg inn i denne litteraturen, inkludert å fylle inn noen detaljer om Gaussisk MADE som ser ut til å mangle i den øvrige litteraturen. Videre presenterer vi tre autoregressive flows: inverse autoregressive flow (IAF), masked autoregressive flow (MAF), og Real NVP, og sammenligner dem, med vekt på deres relative styrker og svakheter.
Kraftig inspirert av to av de presenterte modellene, masked autoregressive flow og Real NVP, foreslår vi en ny flow som egner seg til tetthetsestimering og gir den navnet hybrid autoregressive flow. Vi gjennomfører en rekke eksperimenter med modellene MADE, Real NVP, og MAF, og lykkes med å gjenskape resultater fra flere av de mest innflytelsesrike artiklene i litteraturen. Til slutt gjennomfører vi eksperimenter med vår foreslåtte flow, og sammenligner den med eksisterende modeller i et standardisert eksperimentelt oppsett.
Den nye flowen viser lovende ytelse i disse innledende eksperimentene, og gjør det bedre enn de andre modellene i et av eksperimentene. Mer empirisk materiale er nødvendig for å kunne trekke noen sikre konklusjoner om den foreslåtte modellen. Avslutningsvis oppsummerer vi oppgaven og diskuterer hvordan hybrid autoregressive flow bør testes videre. Helt til slutt peker vi ut noen mulige retninger for fremtidig forskning på normalising flows. | |
| dc.description.abstract | In this thesis, we present a class of models called normalising flows. This class of models utilises the flexibility and computational advantages offered by the deep learning paradigm to define a general framework for modelling flexible, high-dimensional probability densities. We motivate the use of normalising flows by arguing that modelling flexible densities has uses within a wide range of problems in statistics and machine learning, but concentrate our focus on normalising flows for density estimation and approximate Bayesian inference. As a part of the introduction to normalising flows, we conduct a set of experiments with the planar flow to help the reader build intuition about normalising flows.
Further, we aim to give a clear exposition of the field of {autoregressive normalising flows, which combines classical autoregressive modelling and modern normalising flows. This has been a highly influential class of models in the literature up until now. We provide a coherent presentation of the necessary concepts, and fill in some crucial details about the Gaussian MADE that are often found lacking elsewhere in the literature. Three different autoregressive flows, the inverse autoregressive flow (IAF), the masked autoregressive flow (MAF), and Real NVP, are presented and compared, highlighting their relative strengths and weaknesses.
Heavily inspired by two of the previously presented autoregressive flows, the masked autoregressive flow and Real NVP, we propose a novel flow for density estimation, which we call the "hybrid autoregressive flow". We conduct a variety of experiments with MADE, Real NVP, and MAF, and successfully reproduce results from seminal papers in the literature, before we put the novel hybrid autoregressive flow to the test to compare it to existing models in a standardised experimental setting.
The new flow shows promising initial performance, outperforming its competitors on one of the density estimation benchmarks, but more empirical evidence is needed in order to draw any conclusions about the hybrid autoregressive flow. Finally, we summarise the thesis, before we discuss how to proceed the investigations of the hybrid autoregressive flows, and point out some directions for the future research on normalising flows in general. | |
