dc.contributor.advisor | Yin, Shen | |
dc.contributor.advisor | Eisinger, Siegfried | |
dc.contributor.author | Espinoza Guzmán, José Nicolás | |
dc.date.accessioned | 2023-09-22T17:19:58Z | |
dc.date.available | 2023-09-22T17:19:58Z | |
dc.date.issued | 2023 | |
dc.identifier | no.ntnu:inspera:146717040:92011839 | |
dc.identifier.uri | https://hdl.handle.net/11250/3091470 | |
dc.description.abstract | Nå til dags blir modellering og simulering mye brukt innen ingeniørfagene, både for produktive formål og forskning. Dette representerer en svært viktig disiplin, spesielt innen vitenskapelige og designfag. Modellenes kompleksitet og simuleringen deres har overgått datamaskiners fysiske kapasitet til å utføre slike krav innen akseptabel tid. En mulig løsning på dette problemet er utviklingen av enklere modeller for de allerede komplekse modellene. Denne løsningen kalles surrogatmodeller eller metmodeller, og representerer et abstrakt lag over virkeligheten. Disse surrogatmodellene fungerer som "svart-boks" funksjoner som etterligner resultatene basert kun på input. Tilnærmingen er datastyrt, og passer perfekt med utviklingen av maskinlæring, da disse metodene synergiserer harmonisk.
Målet med denne avhandlingen er å evaluere ytelsen til maskinlæringsalgoritmer som surrogatmodeller for en enkel modell av en sprettball. Resultatene kan brukes som veiledning for fremtidig forskning angående bruken av disse teknikkene i produksjonsmiljøer. Alle konsepter relatert til modellering, surrogatmodellering og maskinlæring gjennomgås og presenteres i den teoretiske bakgrunnen, i tillegg til andre emner som er nødvendige for å forstå forskningen fullstendig.
Forskningsmetodikken var basert på en klassisk tilnærming, og Design of Experiments-trinnene ble fulgt for å etablere eksperimentene. Fem forskjellige maskinlæringsalgoritmer ble valgt for å trene surrogatmodellene: Support Vector Machines, Kernel Ridge, Decision Tree, K-Nearest Neighbors og Gaussian Process. Hver type teknikk ble brukt til å trene flere modeller ved å variere valget av hyperparametere, og resultatene ble sammenlignet med to forskjellige oppsett. Deretter, etter å ha valgt den beste representanten for hver type, ble de målt på ytelsen til å løse en spesifikk oppgave: Å finne vinkelen som maksimerer den horisontale avstanden ballen reiser før første sprett.
Resultatene viser hvor forskjellig de ulike algoritmene skaper surrogatmodellene for å etterligne oppførselen til den opprinnelige modellen. I denne undersøkelsen presterte Support Vector Machine-modellene ikke godt, men alle de andre gjorde det. Når de ble evaluert innenfor det samme parameterområdet som de ble trent på, var modellene svært nøyaktige, spesielt Gaussian Process-modellen som ga imponerende resultater. Kernel Ridge-modellen viste jevnt over nøyaktige forutsigelser og oppførsel, og ble en av de mest robuste modellene. K-Nearest Neighbors- og Decision Tree-modellene viste også gode resultater, med den særegne egenskapen at ut-funksjonen lignet på en trinnfunksjon i matematikk, der flere verdier gir samme resultat. Dette kan være svært praktisk når man bruker disse teknikkene for å begrense mulighetene for mulige simuleringer. Totalt sett demonstrerer resultatene at maskinlæringsalgoritmer kan være et kraftig verktøy som kan brukes som surrogatmodeller og hjelpe kostbare modeller i deres oppgave som prediktorer. Selvfølgelig trengs det flere eksperimenter og forskning, og det blir foreslått noen anbefalinger for å fortsette denne forskningen. | |
dc.description.abstract | Nowadays, in the engineering areas, modeling and simulation are widely used for productive
and research purposes. They represent a very important discipline, especially in the scientific
and design fields. The complexity of the models and their simulation has surpassed the physical
capacity of computers to performsuch requirements in an acceptable time. A possible solution
for this problem is the development of simpler models for the already complex models. This
answer is called surrogatemodels or metamodels and represents another abstract layer over reality.
These surrogate models act like "black-box" functions, which imitate the outcomes based
only on inputs. The approach is data-driven so it matches perfectly with the development of
machine learning since those methodologies synergize harmoniously.
The objective of this thesis is to evaluate the performance of using Machine learning algorithms
as surrogate models for a simple bouncing ball model. The results can be used as a
guide for future research regarding the use of these techniques in production environments. All
the concepts related toModeling, SurrogateModeling, andMachine Learning are reviewed and
presented in the theoretical background in addition to other topics needed to understand the
research completely.
The research methodology was based on the classical approach and the Design of Experiments
steps were followed to establish the experiments. Five different Machine Learning algorithms
were chosen to train surrogate models. Support VectorMachines, Kernel Ridge, Decision
Tree, K-Nearest Neighbors, and Gaussian Process. Each type of these techniques was used to
train multiple models varying the hyperparameter selection and comparing the results with two
different setups. Then, after selecting the best representative of every type, they were measured
on the performance of solving a specific task: Finding the angle that maximizes the horizontal
distance traveled by the ball before the first bounce.
The results showhowdifferent the different algorithms create the surrogate models to mimic
the original model behavior. In this opportunity, Support Vector Machine models did not performwell
but all the others did. When evaluated on the range of the same parameters as trained
the models were very accurate, particularly the Gaussian Process model with very impressive
results. The Kernel Ridge model consistently presented accurate predictions and behavior, becoming
one of the most robust models. K-Nearest Neighbors and Decision Tree models showed
also good results, with the particularity that the out function was similar to a step function in
mathematics, with multiple values giving the same results, which can be very practical when
using these techniques to narrow down possibilities of possible simulations. Overall, the results
demonstrate that Machine Learning algorithms can be a powerful tool to be used as surrogate
models and can assist expensive models in their task as predictors. Of course,more experiments
and research are needed and some recommendations are suggested to continue this research. | |
dc.language | eng | |
dc.publisher | NTNU | |
dc.title | Study on the Performance of Machine Learning Algorithms as Surrogate Models for a Representative Model | |
dc.type | Master thesis | |