Exploring the Paired Open-Ended Trailblazer algorithm

Abstract

Livet på jorden vitner til en eksplosjon av kreativitet som har skapt et enormt mangfold av ulike organismer. Ved hjelp av ett løp med evolusjon har egenskaper som både fotosyntese, flyvning og menneskelig intelligens oppstått. Selv om evo- lusjon har fylt verden med utallige komplekse skapelser, stopper den ikke der. Evolusjon fortsetter å presentere oss med nye svar til spørsmålet om overlevelse og reproduksjon for hver eneste generasjon. Denne egenskapen for tilsynelatende uendelig skapning av nye utfordringer og deres løsninger er hva feltet åpen evo- lusjon forsøker å etterligne.

Masteroppgaven utforsker algoritmen Paired Open-Ended Trailblazer (POET) som tilhører feltet åpen evolusjon. POET er en ko-evolusjonær algoritme som søker å uendelig generere problemer med økende vanskelighetsgrad og deres stadig mer komplekse løsninger. Vi anvender POET i et nytt forsterkende læringsmiljø og kombinerer POET med NeuroEvolution of Augmenting Topologies (NEAT) for første gang. Det nye miljøet fungerer som en spennende ny lekeplass for å utforske POETs evne til å skape og løse problemer med økende vanskelighets- grad, mens NEAT lar topologien til de kunstige nevrale nettverks løsningene til å gradvis kompleksifiseres.

Ved å bruke vår modell blir en mangfoldig læreplan med økende kompleksitet generert, samtidig som den løser mange av de genererte utfordringene. Under de ko-evolusjonære kjøringene observerer vi konvergens og åpne egenskaper om det er noen. En ablasjons studie er også utført for å undersøke viktige POET- komponenter som minimal-kriteriet og målbytte. Et spennende funn er at noen komponenter i POET-algoritmen ikke ser ut til å være så viktige som tidligere antatt.

Life on earth displays an explosion of creativity and diversity. One single run of evolution has managed to create both photosynthesis, flight and human intel- ligence; and is still presenting us with new solutions to the problem of survival and reproduction on earth. This capability for never-ending creation of novel organisms is what the field of open-ended evolution is trying to replicate. In this work, we will explore the Paired Open-Ended Trailblazer (POET) algorithm, which belongs to the field of open-ended evolution. POET is a coevo- lutionary algorithm seeking to endlessly generate problems of increasing difficulty and their increasingly complex solutions through the enforcement of a minimal criterion and goal-switching. Previously POET has been shown to generate and solve complex problems in robot locomotion control and general game-playing environments. Challenges that were solved in the robot locomotion envi- ronment were found not solvable by direct optimization or direct-path curriculum building.

We apply POET to a new type of reinforcement learning environment and combine POET with NeuroEvolution of Augmenting Topologies (NEAT) for the first time. The novel environment serves as an exciting new playground for ex- ploring POET’s ability to create and solve problems of increasing complexity. At the same time, NEAT allows artificial neural network controller topology to increase in complexity incrementally.

Our model is shown to generate a diverse curriculum of increasing complexity while solving many of the generated challenges. During the model’s coevolution- ary runs, we observe open-ended tendencies, if there are any. We also impor- tantly perform an ablation study to investigate essential POET components like the minimal-criterion and goal-switching. Excitingly, we find that some parts of the POET algorithm seem not to be as important as previously believed.