How can Reinforcement Learning Algorithms be Used for Capital Allocation and Consumption for a Soveriegn Wealth Fund?

Abstract

Denne oppgaven ser på hvordan forsterkningslæring kan benyttes til porteføljeforvalting for et statlig investeringsfond. Oppgaven bygger på formålet til Statens Pensjonsfond Utland, som er å gi fremtidige generasjoner samme velferd og like muligheter som dagens generasjon. Dette gjøres gjennom å teste 5 ulike algoritmer fra PyTorch bliblioteket Stable Baseline 3. Hensikten med undersøkelsene er å se hvor godt tilpasset disse maskinlæringsalgoritmene er for å kunne ta investeringsbeslutninger på vegne av et investeringsfond. Maskinlæringsprosessen består av ulike agenter som skal lære å ta beslutninger i et miljø som representerer markedet fondet investerer i. Miljøet agentene samhandler med er dannet gjennom en blanding av investeringsbegrensninger og matematiske formuleringer. Særlig med inspirasjon fra tidligere studier av Knut Anton Mork samt Markovs beslutningsprosess, som er et matematisk rammeverk for beslutningstaking i en tidsdiskret stokastisk kontrollprosess. Gjennom straff og belønning skal agentene trene med den hensikt å finne optimal investeringsbeslutning, basert på ulike kriterier. De agentene som presterer best er de som tar beslutninger i tråd med miljøets spesifikke kriterier. Dette inkluderer blant annet porteføljesammensetning, årlig konsum og fremtidig nytte. For å undersøke ytelsen til forsterkningslæringsagentene vil de bli testet for ulike nivåer av straffeparametere, og bli målt opp mot hverandre basert på nytte og belønning. Undersøkelsene i denne oppgaven gir varierende resultater, som indikerer at forsterkningslæringsalgoritmene har potensiealet til å lage gode modeller for investeringsbeslutninger til et statlig investeringsfond. Det trengs likevel ytterligere arbeid for å forbedre disse algoritmene slik at de passer bedre til å løse dette spesifikke problemet.

This thesis examines how reinforcement learning can be used for portfolio management for a sovereign wealth fund (SWF). Inspired by the Norwegian Pension Fund Global, and their aim to provide future generations with the same welfare and opportunities as the current generation. This study tests five different algorithms from the PyTorch library Stable Baseline 3 which is DDPG, PPO, A2C, SAC and TD3. The purpose of the research is to investigate how well these reinforcement learning algorithms can make investment decisions on behalf of an investment fund. The machine learning process involves various agents that learn to make decisions in an environment representing the market. A well-balanced mix of investment constraints and mathematical formulations creates the foundation for the environment. Drawing on previous studies by Knut Anton Mork and the Markov decision process. The Reinforcement learning model in this thesis have agents that learn through a system of penalties and rewards with the aim of finding optimal investment decisions. The best-performing agents are those that find solutions within the specific criteria of the environment. The output is optimal solutions for capital allocation and consumption rates with the aim of maximizing the utility and reward. The algorithms will be tested with different levels of penalty parameters, specifically two different values of smoothing and wealth penalty. The findings of this thesis suggest that reinforcement learning algorithms have the potential to develop effective models for making investment decisions for a sovereign wealth fund. However, further work is needed to refine these algorithms to better fit this specific problem.