Porteføljeforvaltning med forsterkningslæring

Abstract

Oppgaven tar for seg porteføljeforvaltning gjennom anvendelsen av forsterkningslæring. Denne maskinlæringsprosessen skal løse problemstillinger tilknyttet porteføljeforvaltning ved å benytte en handelsagent som lærer gjennom sekvensielle beslutningsprosesser. Agenten skal lære i et fremstilt miljø som representer finansmarkedet. Det benyttes en modellfri forsterkningslæring som tillater agenten å gjennomføre beslutninger fordelt i tidstrinn og samtidig lære optimal handlingsstrategi. Handelssystemet fremstilles gjennom kombinasjonen av finansielle matematiske formuleringer og forsterkningslæringsalgoritmer. Oppgaven anvender forsterkningslæringsalgoritmen Deep Deterministic Policy Gradient som en del av systemet. Tilnærmingen til læringsprosessen er at agenten skal "prøve og feile" for å skape problemløsning. For at dette skal være mulig er det etablert et minne i systemet. På denne måten kan agenten huske hvilke beslutninger som er gjennomført og lære av disse ved neste situasjon. For å undersøke effektene av algoritmen kontrolleres resultater gjennom back-testing på historisk data. Resultatene blir sammenlignet med markedsindeksen Dow Jones, tilhørende børsnoterte fond (DIA) og en mean-variance porteføljestrategi for å undersøke ytelsen av forsterkningslæringsagenten. Denne simuleringen av handel sjekker porteføljens robusthet, lønnsomhet og risikosensitivitet. Undersøkelsene viser lovende resultater som tyder på at forsterkningslæring har egenskapene til å skape vellykkede handelsstrategier.

This thesis deals with portfolio management when applying reinforcement learning. This machine learning process will solve issues related to trading portfolio management by using an agent who learns through sequential decision-making processes. The learning process of the agent is manufactured in an environment that represents the financial market. Model-free reinforcement learning is used, and this allows the agent to implement actions in separate timeperiods and at the same time learn optimal action strategy. The trading system is produced through combinations of financial mathematical formulations and reinforcement learning algorithms. The thesis uses the reinforcement learning algorithm Deep Deterministic Policy Gradient. The approach to the learning process is for the agent to use "Trial-and-Error" technique to create optimal solutions. In order for this to be possible, a memory has been implemented in the system. With a memory the agent can remember what decisions have been made and learn from them in the next situation. To examine the results of the actions of the agent there will be executed back-testing on historical data. The results are then compared with the Dow Jones market index, DIA (Dow Jones ETF) and a Mean-Variance portfolio strategy to examine the performance of the reinforcement learning agent. This trading simulation checks the portfolio's robustness, profitability and risk sensitivity. The studies show promising results that suggest that reinforcement learning has the capabilities to create successful trading strategies.