Investigating the Capability of Generative Adversarial Networks of Capturing Implicit Laws in Physical Systems

Abstract

Utfordringen med tolkning av generative modeller, spesielt blant Generative Adversarial Networks (GANs), utgjør et betydelig problem når det handler om å forstå hva de faktisk lærer. Til tross for deres bemerkelsesverdige evne til å generere data som ser realistisk ut, oppstår et viktig spørsmål om hvorvidt dataene også følger de samme lovene og begrensningene som implisitt følges av virkelige data. Lover som styrer den underliggende prosessen eller systemet, inneholder avgjørende aspekter av den virkelige verden og må følges for at den genererte dataene skal være gyldige, spesielt når de brukes til statistiske analyser.

Dette prosjektet undersøker GANs evne til å fange opp de underliggende lovene gjennom data fra et simulert fysisk system med kjente underliggende lover. Systemet som undersøkes, omhandler kollisjonen mellom havbølger, som er løsninger av Korteweg-de Vries-likningen og følger prinsippene om massebevaring, bevegelsesbevaring og energibevaring. Eksperimenter utføres ved bruk av et datasett med kolliderende bølger av ulike høyder, og modellene evalueres basert på deres samsvar med bevaringslovene. Vi evaluerer ytelsesforskjellene mellom to separate GAN modeller, som har samme arkitektur, men er trent med og uten kunnskap om bevaringslovene.

Sammenligninger av statistikk for bevaringsfeil viser tydelige forskjeller i ytelse mellom de to modellene. I det beste tilfellet viser en vanlige GAN over tre ganger mer bevaringsfeil sammenlignet med en informerte versjon. Men med tanke på en gjennomsnittlig GAN er bevaringsfeilene langt mer betydningsfull. Resultatene antyder at GANs har begrensninger når det gjelder å følge de underliggende begrensningene med liten feil.

Vi finner forskjellige årsaker som hindrer GAN modeller i å fange opp de underliggende begrensningene. Det antas primært å skyldes GANs statistiske natur, som ikke er i stand til å fange opp de implisitte lovene gjennom kun statistikk fra dataene. GANs evne påvirkes også i stor grad av GANs uforutsigbare og sensitive natur i respons på kombinasjoner av hyperparametere og nettverkdesign, noe som gjør det vanskelig å finne riktige kombinasjoner for å nå sitt potensiale. Fremtidige studier for å utforske alternative GAN-arkitekturer med ulike tilbakevendende moduler og høyere nettverkskapasiteter bør utføres for å bekrefte om lignende resultater og utfordringer også vises på et bredere spekter av GANs.

The challenge of interpreting generative models, particularly in the context of Generative Adversarial Networks (GANs), poses a significant issue in understanding what they truly learn. Despite their remarkable ability to generate realistic-looking data, an important question arises whether the data also adhere to the same laws and constraints implicitly followed by the real data. Laws governing the underlying process or system embody crucial aspects of the real world and must be followed for the generated data to be considered useful and valid, especially when used for learning or analysis purposes.

This thesis investigates the capability of GANs to capture the underlying laws through data from a simulated physical system with known underlying laws. The system under investigation centers around the collision of shallow-water waves, which are solutions to the Korteweg-de Vries equation and obey the conservation principles. Experiments are conducted using a dataset of colliding waves of various heights, and samples are evaluated based on their adherence to conservation laws. We evaluate the performance difference between two separate GANs, which have the same architecture but are trained with and without information about the underlying conservation laws.

Comparisons of conservation error statistics show clear performance differences between the models. In the best-case scenario, the regular GAN exhibits, on average, more than three times more conservation errors compared to the informed version. Considering the average GAN performance, the conservation errors are much more significant. The findings suggest that GANs have limitations in accurately capturing the underlying constraints.

We find various barriers that hinder GANs' ability to capture the underlying constraints. It is primarily believed to be due to the statistical nature of GANs, as they are not able to catch the implicit laws only through sample statistics. Their performance is also greatly affected by the unpredictable and sensitive nature of GANs in response to hyperparameter combinations and architectural design, making it difficult to find the proper parameters to reach desired results. Future studies to explore alternative GAN architectures with various recurrent modules and with larger network capacities should be conducted to confirm whether similar results and challenges also persist across a broader range of GANs.