Application of deep reinforcement learning for control problems

Abstract

Innenfor kybernetikk er tilnærmingen til prosesskontroll ofte basert på eksplisitt design og implementasjon av en regulator, basert på analyser av systemet. I dyp forsterkende læring er tilnærmingen svært forskjellig. Ingen deler av agentens oppførsel er eksplisitt implementert, men lært, gjennom gjentatt interaksjon med omgivelsene sine. Dette er en av de underliggende motivasjonene bak maskinlæring, løsningen på noen problemer er svært vanskelige å programmere eksplisitt. På grunn av økende tilgang til prosessorkraft, har problemer innenfor maskinlæring som man tidligere trodde var uløselige, nå blitt nærmest trivielle.

Motivert av nylige suksesser innenfor dyp forsterkende læring, undersøker denne oppgaven muligheten for å anvende de samme konseptene som ligger bak DeepMinds AlphaZero, for å løse reguleringsoppgaver. Et simuleringsrammeverk basert på grensesnittet til OpenAI Gym blir presentert, og noen scenarioeksempler blir utledet. Forskjellige implementasjoner av DRL-algoritmer med åpen kildekode blir utforsket og diskutert.

In cybernetics, the control approach usually relies on, in some way or other, explicitly designing and implementing a controller based on some analysis of the system. The deep reinforcement learning control (DRL) approach is different. No part of a DRL agent's behaviour policy has been explicitly implemented, rather, the policy has been learned, through repeatedly interacting with its environment. This is one of the underlying motivations for machine learning. The solutions to some tasks are hard to program explicitly. Because of the continued increase in computational power available, problems in machine learning that were previously regarded as too computationally expensive have now become almost trivial to solve.

Motivated by recent successes in the field of DRL, this thesis investigates the possibility of applying the same concepts underpinning DeepMinds's AlphaZero, to control problems. A simulation framework based on the OpenAI Gym interface is presented, and some example scenarios are implemented. Different open-source implementations of DRL alorithms are explored and discussed.