Penalised complexity priors in hierarchical models

Abstract

Hierarkisk-dekomponerings(HD)-a-priori-fordelinger er et rammeverk for å konstruere samtidige a priori fordelinger for variansparametere i latente gaussiske modeller (LGMer) via en tre-struktur som gjenspeiler modellens struktur. I skrivende stund kan de kun inkludere tilfeldige effekter, ikke kovariateffekter. Dette betyr at de på det meste kan dekomponere residualvariansen etter lineær regresjon. I denne oppgaven har vi som mål å fjerne denne begrensningen ved å forlenge rammeverket slik at det også kan inkludere kovariateffekter, samt å teste disse nye a priori fordelingene på en rekke linjære utglattingsproblem, i 1 og 2 dimensjoner, med fullstendige og glisne datasett. I hvert tilfelle blir ytelsen til fordelingene vurdert ut ifra continuous rank probability score og gjennomsnittlig kvadratfeil. Funnene våre peker ikke til en klar konklusjon om hvorvidt HD-a-priori-fordelinger, med eller uten kovariateffekter, er en forbedring over konkurrende fordelinger når det kommer til ytelse. Hvorvidt HD-, utvidede HD-, eller uavhengige a priori fordelinger presterer best varierer fra test til test. Det må mer undersøkelse til for å nå en generell konklusjon. Å anvende de nye a priori fordelingene til flerdimensjonale utglattingsproblem kan føre til upraktisk kjøretid sammenliknet med uavhengige eller grunnleggende HD-a-priori-fordelinger, men det er mulig at dette i større grad skyldes økt kompleksitet i HDtreet enn utvidelsen av rammeverket i og for seg. Vi anbefaler derfor ytterligere undersøkelser av inferens med de nye a priori fordelingene før de anvendes i praksis.

Hierarchical decomposition (HD) priors are a prior construction framework for setting joint priors on variance parameters in latent Gaussian models (LGMs) using a tree-structure reflecting the structure of the model. Currently they can only incorporate random effects, not fixed effects, meaning they can at most decompose the residual variance after linear regression. In this thesis we aim to remove this limitation, extending the framework to also include fixed effects, and testing these new priors on a series of non-linear smoothing problems, in 1 and 2 dimensions, with complete and sparse data sets. In all cases we evaluate prior performance using continuous rank probability scores and mean square errors. Our findings are inconclusive regarding whether HD priors, with or without incorporating fixed effect variance, are an improvement over competing priors performance-wise. Whether HD, expanded HD or independent priors perform the best varies between tests. Further research is needed to reach a general conclusion. Applying the new priors to multidimensional smoothing problems can cause impractical runtimes compared to independent or basic HD priors, though it is possible this is more due to the complexity of the HD tree than the framework expansion per se. We therefore recommend further research into performing inference with the expanded HD priors before using them in practice.