Evolving Biologically Plausible Recurrent Neural Networks for Temporal Prediction
Master thesis
Permanent lenke
https://hdl.handle.net/11250/3120743Utgivelsesdato
2023Metadata
Vis full innførselSamlinger
Sammendrag
Inspirert av forskning om tidsmessig prediksjon i den menneskelige hjerne og en fascinasjon for nevroevolusjonære teknikker, søker denne avhandlingen å undersøke effektiviteten til NeuroEvolution of Augmenting Topologies (NEAT) algoritmen når den har i oppgave å utvikle nevrale nettverksstrukturer som er minimalistiske, biologisk plausible og i stand til å forutsi enkle tidssekvenser effektivt. For dette formålet er NEATs hyperparametere justert for å utvikle små Recurrent Neural Networks, som kombineres med Hebbiansk læring. Nettverkene testes på en variant av foreperiod oppgaven, kalt Ready-Go oppgaven, der fitness vurderes basert på evnen til å nøyaktig forutsi timingen av et Go signal.
Avhandlingen demonstrerer at denne tilnærmingen gjør det mulig å utvikle små biologisk plausible nettverk som preseterer godt på enkle tidsoppgaver, men identifiserer også noen iboende svakheter ved å bruke NEAT til dette formålet. Til slutt dykker avhandlingen inn i analyse og tolkning av nettverkene, og identifiserer nøkkelstrukturer i de som fasiliterer tidsmessig prediksjon. Denne analysen avslører videre at effekten av Hebbiansk læring er ubetydelig sammenlignet med vektene til de utviklede nettverkene, som indikerer at andre nevroplastiske prosesser kanskje er bedre egnet for problemområdet. Inspired by research on temporal prediction in the human brain and a fascination with neuroevolutionary techniques, this thesis seeks to examine the potency of the NeuroEvolution of Augmenting Topologies (NEAT) algorithm when tasked with evolving neural network structures that are minimalistic, biologically plausible and capable of predicting simple temporal sequences effectively. For this purpose NEAT's hyperparameters are tuned to evolve small Recurrent Neural Networks, which are combined with Hebbian learning. The networks are tested on a variant of the foreperiod task, dubbed the Ready-Go task, in which fitness is evaluated based on the ability to accurately predict the timing of a Go signal.
The thesis demonstrates that this approach makes it possible to evolve small biologically plausible networks that perform well on simple temporal tasks, but also identifies some inherent weaknesses in using NEAT for this purpose. Lastly, the thesis delves into analysis and interpretation of the networks, identifying key structures in the networks that facilitate temporal prediction. This analysis further reveals that the effect of Hebbian learning is inconsequential compared to the weights of the evolved networks, indicating that other neuroplastic processes may be better suited for the problem domain.