Structural Effects on the Computational Capacity of Neural Networks

Abstract

Måten nevroner er forbundet til hverandre har stor påvirkning på et nevralt nettverks evne til å utføre beregninger. Akkurat slike beregninger er sentrale for funksjonen til sentralnervesystemet, og er en global egenskap som oppstår midt blant lokale interaksjoner mellom små enheter. Vi motiveres av utsiktene til å forstå slike utspringende egenskaper, og å videreutvikle in vitro-modeller av nevrale nettverk. Vi utformer en genetisk algoritme til å utvikle cellulære automata, og undersøker den dynamiske oppførselen til nevrale nettverk in vitro. Vi bruker lærdommen fra disse eksperimentene til å iverksette en genetisk algoritme til å utvikle nevrale nettverk med høy beregningskraft, ved hjelp av Izhikevich-nevronmodellen. Formålet er å forstå hvilke strukturelle egenskaper som fører til kritisk oppførsel. Simuleringene våre viser at modularitet i nettverket ikke nødvendigvis leder til kritikalitet, og at inhibisjon kan erstattes med en bestemt ekstern drivkraft. Vi oppnår både subkritiske og superkritiske nettverk, og tilbyr flere anvisninger til hvordan fremtidige studier på temaet kan organiseres for å oppnå kritiske nettverk.

The way neurons are connected is a major determining factor of a network’s capacity to perform computations. Computation is essential for the function of the central nervous system, and emerges as a global phenomenon in a network of only locally interacting units. We are motivated by aspects of understanding emergent behavior, and to improve in vitro modelling of neural networks. We explore genetic algorithms using cellular automata as a model, and the dynamical behavior of neural networks in vitro. We use the lessons from these experiments to implement a genetic algorithm which evolves computationally-efficient neural networks, using the Izhikevich model for spiking neurons. The purpose is to determine which structural features correlate with critical behavior. Our simulations show that modularity does not necessarily correlate with critical dynamics, and that inhibition can be replaced with the correct external drive. We obtain both neural networks with subcritical and supercritical dynamics, and offer several suggestions for how a future study might proceed in order to produce a network with critical dynamics based on the topology of the network.