Deep Learning Algorithms for Solving PDEs - Presentation and Implementation of Deep Learning Algorithms for Solving Semi-Linear Parabolic PDEs with an Extension to the Fractional Laplace Operator

Abstract

I juni 2017 presenterer Weinan E, Jiequn Han og Arnulf Jentzen en banebrytende algoritme, Deep Backward Stochastic Differential Equation (Deep BSDE), for å løse partielle differensiallikninger (PDEer) ved bruk av dyp læring. I februar 2019 introduserer Côme Huré, Huyên Pham og Xavier Warin en modifikasjon av Deep BSDE, Deep Backward Dynamic Programming (DBDP). DBDP kommer i to varianter. Målet til algoritmene er å unngå dimensjonenes forbannelse. Dette gjøres ved å reformulere PDEene til læringsproblemer.

En grundig beskrivelse av det teoretiske fundamentet bak algoritmene er gitt. Vi trenger innsikt i stokastisk analyse for å forstå hvordan PDEer reformuleres til et par stokastiske differensiallikninger. Nevrale nettverk introduseres slik at de kan brukes til å tilnærme ukjente i de stokastiske differensiallikningene.

Kildekoden til DBDP er ikke offentliggjort. Derfor har de to variantene av DBDP blitt implementert i Python ved bruk av TensorFlow 2.0-rammeverket. Deep BSDE og DBDP er testet på et utvalg av problemer innen forskjellige vitenskapsgrener. Numeriske resultater viser at både Deep BSDE og de to variantene av DBDP løser 100-dimensjonale semilineære parabolske PDEer i de fleste tilfeller. Begge variantene av DBDP konvergerer til en feil verdi for kun ett av testeksemplene. Selv om den relative approksimasjonsfeilen er noe høy, av orden 1%, i de fleste tilfeller, vil slike høydimensjonale likninger ikke være mulig å løse ved tradisjonelle metoder.

Til slutt utledes en algoritme som kan løse likninger som inneholder den fraksjonelle Laplace-operatoren. Algoritmen er inspirert av de dype læringsalgoritmene for å løse PDEer, i særdeleshet DBDP. Algoritmen er implementert i Python ved bruk av TensorFlow 2.0-rammeverket. Noen numeriske resultater er presentert og viser at algoritmen lider av ustabilitet, men er likevel i stand til å produsere meningsfulle resultater i noen en-dimensjonale tilfeller.

In June 2017 Weinan E, Jiequn Han and Arnulf Jentzen present a pioneering algorithm, Deep Backward Stochastic Differential Equation (Deep BSDE), to solve partial differential equations (PDEs) using deep learning. In February 2019 Côme Huré, Huyên Pham and Xavier Warin introduce a modification of Deep BSDE, Deep Backward Dynamic Programming (DBDP). Furthermore, DBDP has two different variants. The goal of the algorithms is to avoid the curse of dimensionality. This is done by reformulating the PDEs to learning problems.

A thorough description is given of the theoretical foundation behind the algorithms. We need stochastic calculus to understand how the PDE is reformulated to a pair of stochastic differential equations. Neural networks act as approximators for unknowns in the stochastic differential equations.

The source code for DBDP is not publicly available. Hence, the two variants of DBDP are implemented in Python using the TensorFlow 2.0 framework. Deep BSDE and DBDP are tested on a wide range of problems within different fields of science. The numerical results verify that both Deep BSDE and the two variants of DBDP successfully solves 100-dimensional semi-linear parabolic PDEs in most cases. Both variants of DBDP converges to the wrong value for only one of the test examples. Although the relative approximation error is somewhat high, of the order 1%, for most of the cases, being able to solve such high dimensional PDEs is in practice not possible for traditional methods.

At last, an algorithm which solves fractional Laplace equations is developed. The algorithm is inspired by the deep learning algorithms for solving PDEs, in particular DBDP. The algorithm is implemented in TensorFlow 2.0. Some numerical results are provided and shows that the algorithm suffer from instability, but still produces meaningful results for some cases in one dimension.