Bayesian Calibration and Inference for Multiple Machines

Abstract

I denne oppgaven, blir simuleringsmodeller, også kalt simulatorer, brukt til utføre prediksjon på maskiner. En av utfordringene med å gjøre prediksjon med simuleringsmodeller, er at de ikke fullt beskriver den sanne prosessen til maskinen. Ofte eksisterer det et modellavvik: forskjellen mellom simulatoren og den sanne prosessen. Hypotesen, er at ved å bruke flere maskiner med noen parametere og hyperparametere til felles, er det mulig at modellen lærer fra alle maskinene, og utfører bedre prediksjon.

Det er tre forskjellige modeller brukt til inferens. Den første modellen, er en modell fra Brynjarsdo ́ttir and O’Hagan (2014), litt modifisert, med individuelle parametere og et individuelt avviksledd. Den er referert til som den individuelle modellen. To nye modell-rammeverk er introdusert i denne oppgaven, referert til som Modell 1 og Modell 2. Modell 1 antar felles parametere for maskinene, og har et individuelt avviksledd. Modell 2 antar felles parametere for maskinene, og har et felles avviksledd og et individuelt avviksledd. Alle tre modellene er latente Gaussiske modeller, med avviksledd som følger Gaussiske felt med Matérn kovariansfunksjoner. De siste to modellene evaluerer maskinene samtidig, og er brukt til å lage observasjoner, noe som resulterer i to nye typer maskiner, som henholdsvis er referert til som de Idelle maskiner 1 og de Idelle maskiner 2. Disse idelle maskinene er lagd for å lære mer om prestasjonene på prediksjonene til Modell 1 og Modell 2. I tillegg, er de tre modellene brukt på de multiple enkle maskinene, den samme maskinen beskrevet av Brynjarsdo ́ttir and O’Hagan (2014).

Det er fire typer prediskjonspunkter som er testet: interpolasjonspunkter, ekstrapolasjonspunkter, pseudo-ekstrapolasjonspunkter (prediksjonspunkter som er ekstrapolasjonspunkter for noen maskiner og interpolasjonspunkter for andre) og prediksjonspunkter som ligger langt fra observasjonene. Forskjellige designer for hvor observasjonspunktene skal ligge, er brukt til å teste modellenes prestasjoner på prediksjonene på alle fire typer prediksjonspunkter. Prediksjonene er utført ved å bruke R-pakken INLA, som er mindre beregningskrevende enn å bruke Markov-kjede-Monte-Carlo-algoritmer.

For alle fire typer prediksjonspunkter, gir evalueringene av maskinene samtidig bedre resultater enn å evaluere maskinene individuelt. Modell 2 har best prestasjon på prediksjonene for alle tre maskiner og alle fire typer prediksjonspunkter. Modell 1 har like god prestasjon på prediksjonene for de Idelle maskiner 1 og de Idelle maskiner 2, og generelt bedre prestasjon på prediksjonene enn den individuelle modellen. Det finnes ikke en eneste type prediksjonspunkt for noen av de multiple maskinene hvor den individuelle modellen har best prestasjon. Resultatene er funnet bare ved å bruke syntetiske maskiner og bare når kalibreringsparameteren har den samme verdien for alle maskinene. Forslag til videre forskning, er å bruke ekte maskiner eller å variere verdien til kalibreringsparameteren for alle maskinene.

In this thesis, simulation models, also called simulators, are used to perform predictions on machines. One of the challenges with performing predictions using simulation models, is that they do not fully describe the true process of the machine. Often, there exists a model discrepancy: the difference between the simulator output and the true process. The working hypothesis is that, by using multiple machines with some parameters and hyperparameters in common, it is possible that the model learns from all the machines, and perform better predictions.

There are three different models used to perform inference. The first model, is a model from Brynjarsdo ́ttir and O’Hagan (2014), slightly modified, with individual parameters and an individual discrepancy term. It is referred to as the individual model. Two new model frameworks are introduced in this thesis, referred to as Model 1 and Model 2. Model 1 assumes common parameters for the machines and has an individual discrepancy term. Model 2 assumes common parameters for the machines, and has a common discrepancy term and an individual discrepancy term. All three models are Latent Gaussian models, with their discrepancy terms following Gaussian fields with Mate ́rn covariance functions. The last two models evaluates the multiple machines simultaneously, and are used to create observations, resulting in two new types of machines, referred to as the Ideal machines 1 and the Ideal machines 2 respectively. These ideal machines are created to learn more about the predictive perfomances of Model 1 and Model 2. Additionally, the three models are applied on multiple simple machines, the same machine described by Brynjarsdo ́ttir and O’Hagan (2014).

There are four types of prediction points that are tested: interpolation points, extrapolation points, pseudo extrapolation points (prediction points that are extrapolation points for some machines and interpolation points for others) and prediction points that are located far from the observations. Different designs of where the observations created are located, are used to test the models predictive performance on the four types of prediction points. The prediction is performed using the R-package INLA, which is less computationally expensive than using Markov chain Monte Carlo algorithms.

For all four types of prediction points, evaluating the machines simultaneously gives better results than evaluating the machines individually. Model 2 has the best predictive performance for all three machines and all four types of prediction points. Model 1 has equally good predictive performance for the Ideal machines 1 as Model 2, and in general better predictive performance than the individual model. There is not one type of prediction point for any of the multiple machines, where the individual model has the best performance. The results are found using only synthetical machines and only when the calibration parameter has the same value for all machines. Suggestions for further research, are to use real machines or to vary the value of the calibration parameter for all machines.