Multi-Objective Portfolio Optimization - Adapting to Investor Preferences Using Reinforcement Learning

Abstract

I denne avhandlingen foreslås en modell for multi-objective reinforcement learning for porteføljeoptimering, basert på CAPQL (Concave-Augmented Pareto Q-Learning). Modellen er implementert for å optimere volatilitet, likviditet og avkastning, hvor Amihud ratio er brukt som proxy for likviditet. Ved å bruke data fra 2014 til 2023 for ni selskaper notert på Oslo Børs, samt risikofri rente, utkonkurrerer modellen de to referanseporteføljene brukt i studien: en likevektet og en kapitalvektet portefølje. For begge referanseporteføljene klarer modellen å generere porteføljer som er bedre for minst én objektivfunskjon, og ikke er dårligere for noen av de andre objektivfunksjonene. Vi klarer å generere en Pareto-front med et mangfoldig sett av løsninger, noe som tydelig indikerer at modellen forstår avveiningen mellom objektivfunksjonene. Dette indikerer at det er potensiale for å bruke multi-objective reinforcement learning for porteføljeoptimering, og at det er egnet til å hjelpe investorer med å ta investeringsbeslutninger.

This thesis proposes a multi-objective reinforcement learning model for portfolio optimization, based on the CAPQL (Concave-Augmented Pareto Q-Learning) model. The model is implemented to optimize volatility, liquidity and return, using the Amihud ratio as a proxy for liquidity. With data from 2014 to 2023 for nine companies listed on the Oslo Stock Exchange and a risk-free asset, the model outperforms the two benchmark portfolios: an equal-weighted and a capitalization-weighted portfolio. For both benchmarks, the model is able to produce strategies that are superior in at least one objective and not inferior in any other objectives. We are able to generate a Pareto frontier with a diverse set of solutions, clearly indicating that the model understands the trade-offs between the objectives. This indicates that there is potential to use multi-objective reinforcement learning for portfolio optimization, and that it is suited to help investors make investment decisions.