Exploring DES-HyperNEAT for reinforcement learning

Abstract

Hjerner i naturen har utviklet seg gjennom millioner av år, koblingene av nevroner og synapser er komplekse og det kan være milliarder av nevroner i en hjerne. Neuroevolution er et fagfelt som lager og optimaliserer kunstige nevrale nettverk ved bruk av evolusjonære algoritmer. Evolusjonen av hjerner fra naturen er en stor inspirasjon til fagfeltet. Layered deep evolvable substrate HyperNEAT (DES-HyperNEAT) er en metode som bruker evolusjon til å utvikle et kunstig nevralsk nettverk ved bruk av moduler kalt substrates som er koblet sammen via paths. Mudulartiteten i DES-HyperNEAT er et eksempel på egenskaper som er hentet fra hjerner i naturen. DES-HyperNEAT har tidligere utkonkurrerte lignende metoder på klassifiseringsproblemer, denne avhandlingen vil utforske DES-HyperNEAT på et reinforcement learning problem.

Hjerner i naturen har komplekse koblinger og plasseringen av nevroner har betydning. Dette konseptet av plassering er blitt utforsket for DES-HyperNEAT for å lage kontrollerte koblinger for nevroner i det kunstige nevrale nettverket. Et annet utforsket området er muligheten for å legge til partiskhet i nevroner i det kunstige nevrale nettverket, et konsept som står sterkt i fagfeltet Deep learning. Hvordan disse konspetene påvirker DES-HyperNEAT er utforsket ved sammenlignet med relevante metoder og en spesifisert reinforcement learning algoritme.

Brains in nature have been evolved over millions of years, the connectivity formed by neurons and synapses is complex and can exist of billions of neurons in a single brain. Neuroevolution is a field that creates and optimizes artificial neural networks by using evolutionary algorithms. The evolution of brains in nature heavily inspires the field. Layered deep evolvable substrate HyperNEAT (DES-HyperNEAT) is a neuroevolution method that evolves a layout of modules called substrates connected by paths and assembles them into an artificial neural network. The modularity of DES-HyperNEAT is an example of inspiration taken from the brains in nature. DES-HyperNEAT has previously outperformed relevant methods on classification problems, this thesis explores DES-HyperNEAT for reinforcement learning.

Brains in nature have complex connectivity and the location of the neurons matters. This concept of the locality is explored for DES-HyperNEAT to create a connection control for the artificial neurons in the assembled artificial neural networks. Another area of exploration is the addition of bias to the neurons in the assembled artificial neural network, a concept strong in the field of Deep Learning. How the concepts affect DES-HyperNEAT have been explored by comparison with related methods and a tailored reinforcement learning algorithm.