Exploring the Paired Open-Ended Trailblazer algorithm
Master thesis
Permanent lenke
https://hdl.handle.net/11250/3030018Utgivelsesdato
2022Metadata
Vis full innførselSamlinger
Sammendrag
Livet på jorden vitner til en eksplosjon av kreativitet som har skapt et enormtmangfold av ulike organismer. Ved hjelp av ett løp med evolusjon har egenskapersom både fotosyntese, flyvning og menneskelig intelligens oppstått. Selv om evo-lusjon har fylt verden med utallige komplekse skapelser, stopper den ikke der.Evolusjon fortsetter å presentere oss med nye svar til spørsmålet om overlevelseog reproduksjon for hver eneste generasjon. Denne egenskapen for tilsynelatendeuendelig skapning av nye utfordringer og deres løsninger er hva feltet åpen evo-lusjon forsøker å etterligne.
Masteroppgaven utforsker algoritmen Paired Open-Ended Trailblazer (POET)som tilhører feltet åpen evolusjon. POET er en ko-evolusjonær algoritme somsøker å uendelig generere problemer med økende vanskelighetsgrad og deres stadigmer komplekse løsninger. Vi anvender POET i et nytt forsterkende læringsmiljøog kombinerer POET med NeuroEvolution of Augmenting Topologies (NEAT)for første gang. Det nye miljøet fungerer som en spennende ny lekeplass for åutforske POETs evne til å skape og løse problemer med økende vanskelighets-grad, mens NEAT lar topologien til de kunstige nevrale nettverks løsningene tilå gradvis kompleksifiseres.
Ved å bruke vår modell blir en mangfoldig læreplan med økende kompleksitetgenerert, samtidig som den løser mange av de genererte utfordringene. Underde ko-evolusjonære kjøringene observerer vi konvergens og åpne egenskaper omdet er noen. En ablasjons studie er også utført for å undersøke viktige POET-komponenter som minimal-kriteriet og målbytte. Et spennende funn er at noenkomponenter i POET-algoritmen ikke ser ut til å være så viktige som tidligereantatt. Life on earth displays an explosion of creativity and diversity. One single runof evolution has managed to create both photosynthesis, flight and human intel-ligence; and is still presenting us with new solutions to the problem of survivaland reproduction on earth. This capability for never-ending creation of novelorganisms is what the field of open-ended evolution is trying to replicate.In this work, we will explore the Paired Open-Ended Trailblazer (POET)algorithm, which belongs to the field of open-ended evolution. POET is a coevo-lutionary algorithm seeking to endlessly generate problems of increasing difficultyand their increasingly complex solutions through the enforcement of a minimalcriterion and goal-switching. Previously POET has been shown to generate andsolve complex problems in robot locomotion control and general game-playingenvironments. Challenges that were solved in the robot locomotion envi-ronment were found not solvable by direct optimization or direct-path curriculumbuilding.
We apply POET to a new type of reinforcement learning environment andcombine POET with NeuroEvolution of Augmenting Topologies (NEAT) for thefirst time. The novel environment serves as an exciting new playground for ex-ploring POET’s ability to create and solve problems of increasing complexity.At the same time, NEAT allows artificial neural network controller topology toincrease in complexity incrementally.
Our model is shown to generate a diverse curriculum of increasing complexitywhile solving many of the generated challenges. During the model’s coevolution-ary runs, we observe open-ended tendencies, if there are any. We also impor-tantly perform an ablation study to investigate essential POET components likethe minimal-criterion and goal-switching. Excitingly, we find that some parts ofthe POET algorithm seem not to be as important as previously believed.