| dc.description.abstract | Abstract
Neuroevolution is a technique that evolves artificial neural networks through evolutionary algorithms, inspired by the natural evolution of biological brains. HyperNEAT is one such method, evolving patterns to determine neural networks’ weights based on their geometry within a substrate. Evolvable-Substrate HyperNEAT (ES-HyperNEAT) has extended the method to additionally evolve the network’s geometry. Multi-Spatial Substrate (MSS) extends HyperNEAT in another direction, evolving separate patterns to determine the weights of a network constructed across multiple substrates.
This thesis introduces the new framework Deep Evolvable-Substrate Hyper- NEAT (DES-HyperNEAT), combining the characteristic features of Deep Hyper- NEAT, ES-HyperNEAT and MSS. The principal novelty of DES-HyperNEAT is the extension of ES-HyperNEAT, from network construction within a single substrate, to network construction across multiple substrates. The new approach essentially evolves deep neural networks by evolving and combining numerous substrates. DES-HyperNEAT separates complexity over multiple substrates and CPPNs, while also having the advantage of evolving node positions within each substrate. Additionally, it dynamically evolves deeper networks by inserting new substrates throughout evolution. The combination of these properties makes DES-HyperNEAT unique.
Three implementations of the framework are proposed. Through statistical analysis, the implementation Layered DES-HyperNEAT is selected, and its properties optimized. It evolves multiple unique CPPNs, one for each substrate and each connection between them. Its performance is evaluated with the datasets Iris, Wine, and Retina. It is shown that Layered DES-HyperNEAT consistently outperforms HyperNEAT and ES-HyperNEAT both when comparing fitness to runtime and number of generations. | en_US |
| dc.description.abstract | Sammendrag
Neuroevolusjon er en metode som utvikler kunstige neurale nettverk via evolusjonære algoritmer og er inspirert av den naturlige evolusjon av biologiske hjerner. HyperNEAT er en slik metode. Den utvikler mønstre til å bestemme neurale nettverks vekter basert på deres geometri i et substrat. Evolvable-Substrate HyperNEAT (ES-HyperNEAT) har utvidet metoden til å også utvikle nettverkenes geometri. Multi-Spatial Substrate (MSS) utvider HyperNEAT i en annen retning, ved å utvikle forskjellige mønstre til å bestemme vektene i et nettverk som er konstruert over flere substrater.
Denne oppgaven introduserer rammeverket Deep Evolvable-Substrate Hyper- NEAT (DES HyperNEAT), som kombinerer de karakteristiske egenskapene til Deep HyperNEAT, ES-HyperNEAT og MSS. Den viktigste innovasjonen med DES-HyperNEAT er utvidelsen av ES-HyperNEAT, fra nettverkskonstruksjon i et enkelt substrat til nettverkskonstruksjon over flere substrater. Den nye metoden utvikler dype nevrale nettverk ved å utvikle og kombinere en rekke substrater. DES-HyperNEAT skiller kompleksitet over flere substrater og CPPN-er, samtidig som den har fordelen med å utvikle node-posisjoner i hvert substrat. I tillegg utvikler den dynamisk dypere nettverk, ved å sette inn nye substrater under evolusjonen. Kombinasjonen av disse egenskapene gjør DES-HyperNEAT unik.
Tre implementasjoner av rammeverket foreslås. Basert på statistisk evaluering av disse blir implementasjonen kalt Layered DES-HyperNEAT valgt og optimalisert. I denne utvikles flere unike CPPN-er, ett for hvert substrat og hver forbindelse mellom dem. Metodens ytelse blir evaluert med datasettene Iris, Wine og Retina. Det vises at Layered DES-HyperNEAT konsekvent gir bedre resultater enn HyperNEAT og ES-HyperNEAT både når ytelse sammenliknes med kjøretid og antall generasjoner. | en_US |
