Modeling Dynamical Systems with Physics Informed Neural Networks with Applications to PDE-Constrained Optimal Control Problems
Master thesis
Permanent lenke
https://hdl.handle.net/11250/3130805Utgivelsesdato
2024Metadata
Vis full innførselSamlinger
Sammendrag
Å modellere dynamiske systemer eksplisitt vil føre til modeller som er like nøykatige som antagelsene som gikk inn i modelleringen. Mange fysiske lover er nyttige modelleringsverktøy for mange bruksområder, men er ikke alltid perfekte. Å bruke maskinlæringsmetoder for å lære representasjoner av dynamiske systemer kan gjøres ved å bruke mye færre antakelser om systemet, men er avhengig av å ha nok data til å være nøyaktige. Ved å kombinere maskinlæringsmetoder med a priori informasjon gjør det mulig å lage modeller som er mer nøyaktige enn det man kunne fått til med hver metode separat.
Hovedmotivasjonen for denne masteroppgaven er å undersøke metoder for å trene opp maskinlæringsmodeller på dynamiske systemer, samtidig som man tar med tidligere informasjon utredet fra første prinsipper for å se hvilke treningsutfordringer som eksisterer. Resultatene fra denne første undersøkelsen vil dermed brukes for å anvende de samme teknikkene på andre typer problemer som kan være spesielt vanskelig å løse med klassiske metoder.
Maskinlæringsarkitekturen kalt Physics Informed Neural Networks (PINNs) er en ganske ny metode som med klarer å kombinere a priori informasjon om systemet med maskinlæring. Denne masteroppgaven bruker PINNs på flere forskjellige typer dynamiske systemer og undersøker hva som skal til for å trene maskinlæringsmodellene på riktig måte. Det har kommer mange forbedringer til den mest grunnleggende treningsmetoden for PINNs, og det å legge til kausalitet i treningen har vist å gi bedre resultater i mange tilfeller. Den har også brukt PINNs med suksess for å oppdage dynamiske systemer ved å starte fra en ufullstendig ligning, både der ligningen er kjent men at parameterverdier er ukjente, i tillegg til der det er et ukjent ledd i ligningen selv. Til slutt blir kunnskap om dynamiske systemer kombinert med maskinlæringsmetoder for å løse optimale kontrollproblemer med PDEer, samt kombinasjoner med kausal trening. Creating explicit models of dynamical systems leads to models that will be as accurate as their assumptions. Although many physical laws are still useful for certain use cases but may not be perfectly accurate. Using machine learning methods to learn representations of dynamical systems can be done using much fewer assumptions about the system, but is reliant on having enough data to be accurate. Combining machine learning methods with prior information makes it possible to create models that are more accurate than either method separately.
The main motivation of this master project is to investigate methods of training machine learning models on dynamical systems, while also incorporating prior information derived from first principles to see what challenges exist. This initial investigation is then used to apply the same techniques for other types of problems that can be especially difficult to solve using classical methods.
The machine learning architecture called Physics Informed Neural Networks (PINNs) is a recent method that can successfully merge prior system information with data-driven machine learning. This master project applies PINNs to multiple different types of dynamical systems and investigates what it takes to properly train the machine learning models. There has been many improvements to the basic PINN training method, and introducing causality when training has been shown to give improved results in many cases. It also used PINNs successfully to discover dynamical systems starting from an incomplete equation, both where the equation is known but the parameter values are unknown, as well as the case where there is an unknown term in the equation itself. Finally, knowledge of dynamical systems is then combined with machine learning methods to solve optimal control problems on PDEs, as well as combinations with causal training.