Bayesian ensemble filtering for a model with categorical and continuous variables

Abstract

Det Bayesianske ensemble filteret er presentert i Loe og Tjelmeland (2021). Det er en generalisering av det tradisjonelle ensemble Kalmanfilteret (EnKF) og er en løsning på filtreringsproblemet i statistikk. Ensemble Kalmanfilteret oppdaterer et prediksjonsensemble til et oppdateringsensemble, hvor det oppdaterte ensemblet består av realisasjoner fra den ønskede filtreringsfordelingen. Det Bayesianske ensemblefilteret åpner opp for andre antagelser enn Gaussiske, som er antagelsene for ensemble Kalmanfilteret. Det Bayesianske ensemble filter algoritmen er fullt Gaussisk, i den forstand at den betrakter alle parametre som tilfeldige variabler. Det første steget i den Bayesianske ensemble filteret er å finne en måte å simulere de ukjente parameterne på. Det neste steget er så å finne ett sett med fordelinger som oppdateringsensemblet blir simulert fra. Deretter vil et optimeringskriterium bestemme hvilken fordeling som er den best mulige, i henhold til kriteriet.

To modeller blir studert i Loe og Tjelmeland (2021). Den ene modellen betrakter kontinuerlige tilstandsvariable og den andre modellen kategoriske tilstandsvariable. I denne rapporten vil vi studere en ny antatt modell. Den nye modellen har tilstandsvariable som består av en kategorisk og en kontinuerlig vektor. Den kategoriske vektoren kommer fra en Markovkjede, mens den kontinuerlige vektoren er antatt normalfordelt og bidrar som støy i modellen. Vi velger et optimeringskriterium som sier at vi vil gjøre så få endringer som mulig når vi oppdaterer medlemmer fra prediksjonsensemblet til oppdateringsensemblet. For å finne settet med oppdateringsfordelinger må vi så løse to optimeringsproblemer, ett optimeringsproblem for hver tilstandsvektor. Vi utfører tre simulerte eksempler for å vise hvordan algoritmen presterer på eksempler der de sanne verdiene er kjent. Filtreringsalgoritmen gjør det bra på de to eksemplene den er antatt å gjøre bra på. Det kan tyde på at filteret underestimerer variansen, ettersom det ser at spredningen av de simulerte realisasjonene fra oppdateringsfordelingen ikke ser ut til å dekke de sanne verdiene.

The Bayesian ensemble filter is proposed in Loe and Tjelmeland (2021). It is a generalization of the traditional ensemble Kalman filter (EnKF), a solution to the filtering problem in statistics. The ensemble Kalman filter updates a prior ensemble to a posterior ensemble, where the updated ensemble consists of realizations from the desired filtering distribution. The Bayesian ensemble filter opens up for other parametric families than the Gaussian, which are the assumptions for the popular ensemble Kalman filter. The framework they present is what they call fully Bayesian, in the sense that we treat the model parameters as random variables. The first task of updating a prior ensemble to a posterior ensemble is to derive the distribution from which to simulate the unknown parameters. The next step is to find a class of updating distributions from which to sample the posterior ensemble. An optimality criterion is thereafter stated, restricting the class of updating distribution to the optimal distribution with respect to the criterion.

In Loe and Tjelmeland (2021), they study two assumed models, one with continuous state variables and one with categorical state variables. In this report, we apply the Bayesian ensemble filter on a new assumed model. The new assumed model has state variables consisting of one categorical and one continuous vector. The categorical state vector follows a Markov chain with non-homogeneous transition probabilities. The continuous state vector is assumed Gaussian and contributes to the model as noise. The optimality criterion in our assumed model states that we want to minimize the expected Mahalanobis distance between the prior and posterior ensemble members. Finding the updating distributions then reduces to two optimality problems, one for each state vector. To show the algorithm's performance, we present three simulation examples with different degrees of the variance's influence of the observations. We compare the results from the simulation to the generated true values. The filter captures the true value of the categorical vector well in two of the examples, which is expected. However, the spread of the simulated filtering ensemble members might be too narrow. \clearpage