Integrated Nested Laplace Approximations within Monte Carlo Methods

Abstract

Integrated Nested Laplace Approximations (INLA) er en deterministisk metode for å oppnå bayesiansk inferens på latente gaussiske modeller (LGMer) og fokuserer på raske og nøyaktige approksimasjoner av marginale posteriori-fordelinger for parametrene i en modell. I praksis er applikasjonene av INLA begrenset til de modellene som er implementert i R pakken R-INLA. I senere år har det blitt utviklet flere metoder for å utvide disse modellene til de som kan uttrykkes som betingede LGMer ved å fiksere noen av parameterne i modellen til beskrivende verdier. Metodene er forskjellige i hvordan de velger disse beskrivende verdiene. Denne oppgaven betrakter de tre følgende INLA med Monte Carlo-metodene: Markov chain Monte Carlo (MCMC) med INLA, importance sampling (IS) med INLA, og en ny metode som kombinerer INLA og adaptive multiple importance sampling (AMIS).

Denne masteroppgaven sammenligner INLA med Monte Carlo-metodene på flere applikasjoner med simulerte og observerte datasett, og vurderer deres ytelse basert på nøyaktighet, effektivitet og robusthet. Implementeringen av metodene er validert av eksakte posteriori-estimater i en enkel bivariat lineær modell og testet på en romlig autoregressiv kombinert modell. Deretter presenterer den en ny tilnærming til bayesiansk kvantileregresjon ved bruk av AMIS med INLA, som er evaluert i en simuleringsstudie og anvendt på to observerte datasett. Denne oppgaven prøver også å approksimere posteriori-verdier i en Gamma frailty modell ved å bruke AMIS med INLA.

Resultatene fra eksemplene indikerer at AMIS med INLA-metoden generelt gjorde det bedre enn de andre metodene på mer komplekse modeller, men IS med INLA-algoritmen kan vurderes for raskere inferens når det er lett å velge forslagsfordeling. Den bayesianske kvantileregresjonen produserte lovende kvantilekurver i simuleringsstudien, og applikasjonene på observerte datasett presenterer en liten del av alle modellene som er tilgjengelig gjennom INLA for denne typen for kvantileregresjon. I tillegg produserte AMIS med INLA-algoritmen nøyaktige posterioreri-resultater i Gamma frailty modellen med få grupper, men viste en viss grad av bias for et større antall dimensjoner i AMIS.

The Integrated Nested Laplace Approximation (INLA) is a deterministic approach to Bayesian inference on latent Gaussian models (LGMs) and focuses on fast and accurate approximation of posterior marginals for the parameters in the models. In practice, applications of INLA are limited to the class of models implemented in the R package R-INLA. Recently, methods have been developed to extend this class of models to those that can be expressed as conditional LGMs by fixing some of the parameters in the models to descriptive values. These methods differ in the manner descriptive values are chosen. This thesis considers the three following INLA within Monte Carlo methods: Markov chain Monte Carlo (MCMC) with INLA, importance sampling (IS) with INLA, and a novel approach that combines INLA and the adaptive multiple importance sampling (AMIS) algorithm.

This thesis compares the INLA within Monte Carlo methods on a series of applications with simulated and observed datasets and evaluates their performance based on accuracy, efficiency, and robustness. The implementation of the methods are validated by exact posteriors in a simple bivariate linear model and tested on a spatial autoregressive combined model. Then, it presents a new approach to Bayesian quantile regression using AMIS with INLA, which is verified in a simulation study and applied to two observed datasets. Also, this thesis attempts to approximate the posteriors in a Gamma frailty model using AMIS with INLA.

The examples show that the AMIS with INLA approach, in general, outperformed the other methods on more complex models, but the IS with INLA algorithm could be considered for faster inference when good proposals are available. Also, the Bayesian quantile regression approach produced promising quantile curves in the simulation study, and the applications present a small portion of the large class of models that are facilitated through INLA for this type of quantile regression. In addition, the AMIS with INLA algorithm produced accurate posteriors in the Gamma frailty model with few clusters but attained a slight bias for a higher number of dimensions in the AMIS algorithm.