Numerical Experiments on a Deep Learning Approach to Solving High- Dimensional Partial Differential Equations

Abstract

Denne masteroppgaven utforsker en metode for å løse høydimensjonale partielle differentialligninger ved bruk av dyp læring. Numerisk analyse av partielle differentialligninger er av stor betydning ettersom det kan beskrive viktige fysiske fenomener slik som varmefordeling og bølgeforplantning. Kompleksiteten i tradisjonelle numeriske metoder øker vanligvis eksponensielt med dimensjonaliteten til problemet, og begrenser dermed numerisk analyse og modellering i høydimensjonale tilfeller. I denne oppgaven vil metoden som introduseres i artikkelen Solving high-dimensional partial differential equations using deep learning (Han et al., 2018) bli utforsket. Den foreslåtte metoden har som mål å løse høydimensjonale partielle differentialligninger med lavere beregningskostnader enn tradisjonelle numeriske metoder. For å oppnå dette benyttes en teknikk innen kunstig intelligens som kalles dyp læring. Metoden heter deep BSDE-metoden, fra bruken av dyp læring og bakover stokastiske differentialligninger (BSDEs). Metoden tar for seg gruppen med semilineære parabolske partielle differentialligninger.

Denne oppgaven presenterer den nødvendige bakgrunnsteorien for å forstå deep BSDEmetoden. Dette inkluderer en introduksjon til kunstig intelligens, der dype nevrale nettverk blir forklart. Forbindelsen mellom semilinære parabolske partielle differensialligninger og bakover stokastiske differensialligninger blir presentert. Metodikken blir beskrevet sammen med en forklaring av den nevrale nettverksarkitekturen.. Implementeringsdetaljer blir gitt, og viktige algoritmer blir presentert og diskutert. Metoden blir testet på Allen-Cahn-ligningen og Hamilton-Jacobi-Bellman-ligningen. Allen-Cahn-ligningen er en reaksjondiffusjonsligning som beskriver faseseparasjonsprosesser, og Hamilton-Jacobi-Bellmanligningen er et resultat av å bruke dynamisk programmering på kontinuerlige optimale kontrollproblemer. Ytterligere numeriske eksperimenter blir også utført for å undersøke hvordan forskjellige egenskaper ved metoden påvirker ytelsen.

Deep BSDE-metoden implementeres i maskinlæringsplattformen TensorFlow, og de numeriske resultatene er tilfredsstillende med både høy nøyaktighet og lave beregningskostnader. Metoden oppnådde en relativ tilnærmingsfeil på 0.20% for Allen-Cahn-ligningen, og 0.22% for Hamilton-Jacobi-Bellman-ligningen. Resultatene er lovende og åpner for muligheten for å løse mer komplekse og krevende problemer på flere områder, som økonomi, finans, operativ forskning og fysikk.

This Master’s thesis explores a deep learning approach to solving high-dimensional partial differential equations. Numerical analysis of partial differential equations is of great importance as it can describe essential physical phenomenons like heat distribution and wave propagation. The complexity of traditional numerical methods usually increases exponentially with the dimensionality of the problem, limiting numerical analysis and modeling in the high-dimensional case. In this thesis, the method introduced in the paper Solving high-dimensional partial differential equations using deep learning (Han et al., 2018) is explored. The proposed method aims to solve high-dimensional partial differential equations with lower computational cost than traditional numerical methods. To do so, a technique of artificial intelligence called deep learning is utilized. The method is named the deep BSDE method, from the utilization of deep learning and backward stochastic differential equations (BSDEs). The method considers the class of semilinear parabolic partial differential equations.

This thesis presents the necessary background theory for understanding the deep BSDE method. This includes an introduction to artificial intelligence, where deep neural networks are explained. The connection between semilinear parabolic partial differential equations and backward stochastic differential equations is presented. The methodology is described along with an explanation of the neural network architecture. Implementation details are provided, and essential algorithms are presented and discussed. The method is tested on the Allen-Cahn equation and the Hamilton-Jacobi-Bellman equation. The Allen-Cahn equation is a reaction-diffusion equation that describes phase separation processes, and the Hamilton-Jacobi-Bellman equation is a result of applying dynamic programming to continuous optimal control problems. Further numerical experiments are also conducted, exploring how different features of the method affect the performance.

The deep BSDE method is implemented in the machine learning platform TensorFlow, and the numerical results are satisfying, achieving both high accuracy and low computational cost. The method achieved a relative approximation error of 0.20% for the Allen-Cahn equation, and 0.22% for the Hamilton-Jacobi-Bellman equation. The promising results open up the possibility of solving more complex and demanding problems in several areas, such as economics, finance, operational research, and physics.