Study on the Performance of Machine Learning Algorithms as Surrogate Models for a Representative Model

Abstract

Nå til dags blir modellering og simulering mye brukt innen ingeniørfagene, både for produktive formål og forskning. Dette representerer en svært viktig disiplin, spesielt innen vitenskapelige og designfag. Modellenes kompleksitet og simuleringen deres har overgått datamaskiners fysiske kapasitet til å utføre slike krav innen akseptabel tid. En mulig løsning på dette problemet er utviklingen av enklere modeller for de allerede komplekse modellene. Denne løsningen kalles surrogatmodeller eller metmodeller, og representerer et abstrakt lag over virkeligheten. Disse surrogatmodellene fungerer som "svart-boks" funksjoner som etterligner resultatene basert kun på input. Tilnærmingen er datastyrt, og passer perfekt med utviklingen av maskinlæring, da disse metodene synergiserer harmonisk.

Målet med denne avhandlingen er å evaluere ytelsen til maskinlæringsalgoritmer som surrogatmodeller for en enkel modell av en sprettball. Resultatene kan brukes som veiledning for fremtidig forskning angående bruken av disse teknikkene i produksjonsmiljøer. Alle konsepter relatert til modellering, surrogatmodellering og maskinlæring gjennomgås og presenteres i den teoretiske bakgrunnen, i tillegg til andre emner som er nødvendige for å forstå forskningen fullstendig.

Forskningsmetodikken var basert på en klassisk tilnærming, og Design of Experiments-trinnene ble fulgt for å etablere eksperimentene. Fem forskjellige maskinlæringsalgoritmer ble valgt for å trene surrogatmodellene: Support Vector Machines, Kernel Ridge, Decision Tree, K-Nearest Neighbors og Gaussian Process. Hver type teknikk ble brukt til å trene flere modeller ved å variere valget av hyperparametere, og resultatene ble sammenlignet med to forskjellige oppsett. Deretter, etter å ha valgt den beste representanten for hver type, ble de målt på ytelsen til å løse en spesifikk oppgave: Å finne vinkelen som maksimerer den horisontale avstanden ballen reiser før første sprett.

Resultatene viser hvor forskjellig de ulike algoritmene skaper surrogatmodellene for å etterligne oppførselen til den opprinnelige modellen. I denne undersøkelsen presterte Support Vector Machine-modellene ikke godt, men alle de andre gjorde det. Når de ble evaluert innenfor det samme parameterområdet som de ble trent på, var modellene svært nøyaktige, spesielt Gaussian Process-modellen som ga imponerende resultater. Kernel Ridge-modellen viste jevnt over nøyaktige forutsigelser og oppførsel, og ble en av de mest robuste modellene. K-Nearest Neighbors- og Decision Tree-modellene viste også gode resultater, med den særegne egenskapen at ut-funksjonen lignet på en trinnfunksjon i matematikk, der flere verdier gir samme resultat. Dette kan være svært praktisk når man bruker disse teknikkene for å begrense mulighetene for mulige simuleringer. Totalt sett demonstrerer resultatene at maskinlæringsalgoritmer kan være et kraftig verktøy som kan brukes som surrogatmodeller og hjelpe kostbare modeller i deres oppgave som prediktorer. Selvfølgelig trengs det flere eksperimenter og forskning, og det blir foreslått noen anbefalinger for å fortsette denne forskningen.

Nowadays, in the engineering areas, modeling and simulation are widely used for productive and research purposes. They represent a very important discipline, especially in the scientific and design fields. The complexity of the models and their simulation has surpassed the physical capacity of computers to performsuch requirements in an acceptable time. A possible solution for this problem is the development of simpler models for the already complex models. This answer is called surrogatemodels or metamodels and represents another abstract layer over reality. These surrogate models act like "black-box" functions, which imitate the outcomes based only on inputs. The approach is data-driven so it matches perfectly with the development of machine learning since those methodologies synergize harmoniously. The objective of this thesis is to evaluate the performance of using Machine learning algorithms as surrogate models for a simple bouncing ball model. The results can be used as a guide for future research regarding the use of these techniques in production environments. All the concepts related toModeling, SurrogateModeling, andMachine Learning are reviewed and presented in the theoretical background in addition to other topics needed to understand the research completely. The research methodology was based on the classical approach and the Design of Experiments steps were followed to establish the experiments. Five different Machine Learning algorithms were chosen to train surrogate models. Support VectorMachines, Kernel Ridge, Decision Tree, K-Nearest Neighbors, and Gaussian Process. Each type of these techniques was used to train multiple models varying the hyperparameter selection and comparing the results with two different setups. Then, after selecting the best representative of every type, they were measured on the performance of solving a specific task: Finding the angle that maximizes the horizontal distance traveled by the ball before the first bounce. The results showhowdifferent the different algorithms create the surrogate models to mimic the original model behavior. In this opportunity, Support Vector Machine models did not performwell but all the others did. When evaluated on the range of the same parameters as trained the models were very accurate, particularly the Gaussian Process model with very impressive results. The Kernel Ridge model consistently presented accurate predictions and behavior, becoming one of the most robust models. K-Nearest Neighbors and Decision Tree models showed also good results, with the particularity that the out function was similar to a step function in mathematics, with multiple values giving the same results, which can be very practical when using these techniques to narrow down possibilities of possible simulations. Overall, the results demonstrate that Machine Learning algorithms can be a powerful tool to be used as surrogate models and can assist expensive models in their task as predictors. Of course,more experiments and research are needed and some recommendations are suggested to continue this research.