Replicating Financial Markets using Reinforcement Learning; An Agent Based Approach

Abstract

Vi presenterer og implementerer et ordredrevet, kunstig aksjemarked med lærende agenter. Agenter som tilpasser seg miljøet etterligner investeringsoppførsel man kan observere i ekte aksjemarkeder. For å unngå å gjøre antakelser om komplisert investeringsadferd, modellerer vi agenter som nevrale nettverk. Læringsprosessen som finner sted hos agentene er implementert ved hjelp av avanserte, moderne teknikker for forsterket læring (reinforcement learing). En fordel med denne metoden er at man ikke behøver å kalibrere et stort antall eksogene parametere til empiriske datasett. Vi viser muligheten til å representere investeringsstrategier som høynivåspesifiserte mål. Agenter som forsøker å nå disse målene, oversetter målene til objektivfunksjoner. Investerbare instrumenter i modellen er selskaper med en tilhørende inntjeningsprosess som avhenger av makroøkonomiske faktorer. Selskapene påtar seg prosjekter som genererer inntjening. Prosjektene finansieres delvis med egenkapital og gjeld. Hvert selskap har en tilhørende kredittrating som indikerer selskapets økonomiske stabilitet. Kredittratingen bestemmer selskapets rentenivå beregnet utifra antall basispunkter over en flytende rente, i tillegg til maksimum belåning. Modellen fremskaper de stiliserte fakta for finansielle markeder (the stylised facts of financial markets). Vi presenterer bevis for tidsvarierende volatilitet med tidvis volatilitetsgruppering. Modellens avkastningsdistribusjon er asymmetrisk, hvilket er konsistent med empiriske distribusjoner fra ekte finansielle markeder.

Vi fremsetter et rammeverk der makroøkonomiske faktoravhengigheter fungerer som drivere for den underligende økonomien. Rammeverket gjør modellen egnet til å utføre analyser av ulike scenarioer. Inndata til modellen kan være hvilken som helst makroøkonomisk tidsserie. For å illustrere modellens brukbarhet replikerer vi finanskrisen fra 2008 for det norske markedet. I vårt forsøk endrer vi styringsrenten på et tidlgere tidspunkt enn hva Norges Bank gjorde i 2009 for å undersøke om krisen kunne vært avverget. Vi anser muligheten til å undersøke ulike scenarioer for å være et nyttig verktøy for offentlige beslutningstakere.

We present and implement an order-driven artificial stock market populated by learning agents. Agents adapt to their environment, mimicking the investor behaviour of real stock markets. To avoid making assumptions on complex investor behaviour, we model agents as neural networks. Agent learning is implemented using state-of-the-art reinforcement learning techniques. An advantage of this approach is that few exogenous parameters need to be calibrated. We demonstrate the feasibility of translating real investment strategies represented as high-level goals, to objective functions suitable for agents to learn. Tradable assets in the model are stocks in companies with an earnings process dependent on macroeconomic factors. The companies undertake income-generating projects partly financed by equity and debt. Each company has an associated credit rating, indicating the stability of the company. The credit rating governs credit spread above a floating interest rate as well as maximum allowed leverage. We show that the model produces the stylised facts of financial markets as well as time-varying and sector dependent trading volumes. Evidence is found for time-varying volatility with occasional clustering. We also find asymmetries in the return distribution, consistent with empirical distributions of real financial markets.

We propose a factor-dependency framework where macroeconomic time-series serve as drivers of the underlying economy. Input to the model can be any macroeconomic time-series. We run experiments where the macroeconomic time-series are the oil price, interest rate and GDP growth. The framework makes the model fit for scenario analysis. To illustrate the usefulness of the model’s ability to perform scenario analysis, we replicate the financial crisis of 2008 for the Norwegian market. In our analysis, we lower the key deposit rate earlier than Norges Bank to investigate whether the crisis could have been avoided. We believe the possibility to conduct scenario analysis to be a useful tool for policy makers.