Solving the Portfolio Allocation Problem in the Norwegian Stock Market Using Deep Reinforcement Learning
Description
Full text not available
Abstract
I denne oppgaven undersøker jeg om bruken av “dyp forsterkende læring” (eng: Deep Reinforcement Learning) for å løse porteføljeallokering-problemet i det norske aksjemarkedet kan oppnå unormalt høy avkastning sammenlignet med tradisjonelle metoder og referanseindeksen. Dyp forsterkende læring blir i økende grad brukt innen finans, og i dag er investorer og fondsforvaltere allerede avhengige av teknologiske og tekniske verktøy for å velge og allokere midler for å konstruere en optimal portefølje. Siden det meste aveksisterende forskning innen dyp forsterkende læring innen finans har fokusert på større markeder som USA, Kina og kryptovaluta, bidrar min studie til feltet ved å undersøke ni aksjer fra OBX Indeksen på Oslo Børs.
For å løse porteføljeallokeringsproblemet ved hjelp av dyp forsterkende læring valgte jeg ni av de ti største komponentene av selskaper fra OBX-indeksen. Under trening, validering og testing av dataene bruker jeg et system (eng: environment) hentet fra FINRLrammeverket (Liu et al., 2020; Liu et al., 2021), og trener en agent ved hjelp av DDPGalgoritmen. Algoritmen kombinerer elementer fra andre forsterkende lærings-metoder som dyp Q-læring og deterministisk policy gradient for å lære fra et kontinuerlig observasjonog handlingsrom.
Jeg fant ut at DDPG-agenten hadde høyere avkastning, Sharpe ratio og lavere standardavvik sammenlignet med referanseindeksen OBX. Et interessant funn er at DDPG-agenten har et større fall under markedsfallet våren 2020, og dermed ga DDPG-agenten kun en litt høyere Sharpe ratio sammenlignet med referanseindeksen. In this thesis, I investigate whether the application of deep reinforcement learning to solve the portfolio allocation problem in the Norwegian Stock market can create excess return compared to selected benchmarks. Deep reinforcement learning is being increasingly deployed in finance, and investors and fund managers are already relying on technological and technical tools to select and allocate funds when constructing the optimal portfolio. Since most existing research on deep reinforcement learning in finance focuses on the larger markets like the United States, China and Crypto-currency markets, my study contributes to the field by examining nine stocks listed on the OBX Index.
To solve the portfolio allocation problem using reinforcement learning, I selected nine companies from the OBX index. To train, validate and test the data, I use an environment adopted by the FINRL framework (Liu et al., 2020; Liu et al., 2021), and train an agent using the DDPG algorithm. The algorithm uses a combination of Deep Q-learning and Deterministic Policy Gradient method to train in an environment with a continuous observation- and action space.
I found that the DDPG-agent outperformed the OBX benchmark index in total return, Sharpe ratio and standard deviation. Interestingly, the DDPG-agent had a worse downturn during the market fall in the spring of 2020, and only yielded a slightly higher Sharpe ratio over the entire trading period.