Physics-Informed Bayesian Calibration Accounting for Model Discrepancy in a Linearized Homogeneous Ordinary Differential Equation

Abstract

Denne masteroppgåva utforskar eit fysikkinformert, fullstendig bayesiansk rammeverk for parameterestimering og usikkerheitsanalyse i lineariserte homogene ordinære differensiallikningar (ODE-ar). Vi undersøkjer korleis eit avviksledd kan inkorporerast for å ta omsyn til ofte analytisk ukvantifiserbare, systematiske avvik mellom den forenkla modellen og den faktiske observasjonsprosessen. Vi samanliknar ein modell som inkluderer dette avviksleddet med ein modell som ikkje gjer det. Avviksleddet, som er modellert som en fleksibel Gaussisk Prosess, blir integrert i den homogene ODE-en sin kraftfunksjon som ei virtuell kraft som motverkar avviket mellom modellen og prosessen. Vi brukar Hamiltonian Monte Carlo for inferens, med pendelen som eit case-studie.

Dei empiriske studiane våre viser at avviksleddet effektivt fangar opp systematiske avvik i ein test-case med observasjonar frå ein lineær prosess med ein addert Gaussisk Prosess. Den korrigerar parameterestimata i motsetning til modellen utan avviksledd. Vidare presterer modellen med avviksledd betre enn modellen utan dette leddet når støyen i ein dempa prosess skal estimerast, opp til ei viss grad av observasjonsstøy. Funna våre tyder også på at den auka fleksibiliteten frå avviksleddet i modellen resulterar i meir effektiv utforsking av posteriorirommet under HMC-iterasjonane. Desse funna støttar inkluderinga av avviksleddet i kraftfunksjonen til modellen. Imidlertid møter vi ei grunnleggjande utfordring når modellen brukast på avvikande prosessar der den faktiske prosessen liknar den forenkla modellen, men med ulike parametrar. Denne avgrensinga blir tydeleg når vi brukar den lineariserte modellen med avviksledd på en ikkje-lineær prosess. Likevel fører desse unøyaktige estimata til ei betre tilpassing til dataen og betre prediksjonar. Totalt sett bidreg denne studien til forståelsen vår av fysikkinformert bayesiansk kalibrering som tek omsyn til avvik i forenkla modellar, og adresserer utfordringar knytt til å fange opp systematiske avvik i lineariserte ikkje-lineære homogene prosessar.

This thesis investigates a physics-informed, fully Bayesian framework for parameter estimation and uncertainty analysis in linearized homogeneous ODEs. The incorporation of a discrepancy term to account for the often intractable, systematic deviation between the simplified model and the true noisy observation process is examined. A comparison is made between a model incorporating this discrepancy term and a model without it. The discrepancy term, modeled as a flexible Gaussian Process, is incorporated into the forcing function of the homogeneous ODE as a virtual force that counterbalances the deviation between the model and the process. Hamiltonian Monte Carlo is used for inference, with the pendulum as a case study.

Our empirical studies demonstrate that the discrepancy term effectively captures the systematic deviation in a test case with observations from a linear process with an added Gaussian Process, accurately recovering parameter estimates in contrast to the non-discrepancy model. Furthermore, the discrepancy model outperforms the non-discrepancy model in estimating noise in a damped process up to a certain level of observation noise. Our findings also suggest that the model's enhanced flexibility from the discrepancy term results in a more effective exploration of the posterior space during HMC iterations. These findings support the inclusion of the discrepancy term on the forcing function in the model. However, a fundamental challenge arises when applying this approach to processes where the true process closely resembles the model process with different parameters. This limitation becomes evident when utilizing the linearized model with a discrepancy term for a nonlinear process. However, these inaccurate estimates lead to an improved fit to the data and better predictions. Overall, this research improves our understanding of physics-informed Bayesian calibration accounting for discrepancy in simplified models and addresses challenges in capturing systematic discrepancies in linearized nonlinear homogeneous processes.