Exploring Reservoir Computing with Spatial Constraints
Master thesis
Permanent lenke
https://hdl.handle.net/11250/2777862Utgivelsesdato
2020Metadata
Vis full innførselSamlinger
Sammendrag
Reservoarberegning har blitt et fremtredende medlem av paradigmet forukonvensjonell dataprosessering. Dette er et rammeverk velegnet for prosesseringav tidsmessige og sekvensielle data, tradisjonelt ved bruk av rekurrente nevralenettverk, som gjør tidligere input tilgjengelig som en umiddelbar avlesning.
Det er dog ikke nødvendig at reservoaret er et kunstig nevralt nett -- ethverthøydimensjonalt, drevet system som innehar kompleks, dynamisk oppførsel kanbrukes. Et bredt spekter av fysiske substrater er foreslått somreservoarmaskiner, fra nanomagnetiske ensembler til levende nevronkulturer.
En stor utfordring under realisering av fysiske reservoarer er substratetsfysiske begrensninger. Dette er i kontrast til abstrakte reservoarer,f.eks. tilfeldige rekurrente nevrale nettverk, som ikke har fysiskebegrensninger med hensyn til dimensjonalitet, romlig utforming ogobserverbarhet. I denne oppgaven undersøkes reservoarer med realistiskedimensjonelle og romlige egenskaper, hvor muligheten for å gjøre strukturelleendringer er begrenset. I utgangspunktet gjennomfører vi eksperimenter medtilfeldige rekurrente nevrale nettverk som består av tilfeldige geometriskegrafer, som er den enkleste modellen for romlige nettverk. Eksperimentenevidereføres med gitterstrukturer, som er høyst regulære arkitekturer, og ervanlige i numerisk fysikk.
Resultater viser at romlige begrensninger hemmer reservoarers ytelse underytelsestesten NARMA-10 for begge modeller. Dersom rettede kanter introduseres inettverkene istedenfor toveis kanter, vil ytelsen kunne konkurrere med etablertemodeller, noe som indikerer at informasjonsflyt er en viktig egenskap i godereservoarer.
Videre viser det seg at reservoarer basert på firkantede gitter med fast, globalinput yter like godt som tilfeldige rekurrente nettverk på NARMA-10 ogMackey-Glass ytelsestester. Verdien i regulære, deterministiske strukturer somet verktøy for teoretisk analyse evalueres, og det gis eksempler for å utforskehvordan nettverk oppfører seg når de løser spesifikke oppgaver. Reservoir computing has become a predominant member of the unconventionalcomputing paradigm. It is a framework suited for processing of temporal andsequential data, traditionally using recurrent neural network models toincorporate past inputs into an instantaneous readout.
Interestingly, there is no need for the reservoir to be an artificial neuralnetwork -- any high-dimensional, driven system exhibiting complex dynamicbehavior can be used. A wide range of physical substrates have been proposed asreservoir machines, ranging from nanomagnetic assemblies to living cultures ofneurons.
A major challenge when realizing physical reservoirs is the physical limitationspresent in the underlying substrate. This is in contrast to abstract modelreservoirs, e.g. echo state networks, which have no physical constraints inregards to dimensionality, spatial layout and observability. In this thesis, weinvestigate reservoirs with realistic dimensional and spatial properties,constraining the possibility of making structural changes. Initially, we conductexperiments with echo state networks that consist of random geometric graphs,the simplest spatial network model. We then further this work with latticestructures, which are highly regular architectures, and are common incomputational physics.
Results show that spatial constraints by default inhibit the NARMA-10 benchmarkperformance of both models. However, introducing directed edges to the networkinstead of bidirectional ones restores performance to compete with establishedmodels, indicating that the flow of information is an important property inquality reservoirs.
Furthermore, simple square lattice reservoirs with a fixed, global input arefound to perform as well as echo state networks on NARMA-10 and Mackey-Glassbenchmarks. The value of regular, deterministic structures as a tool fortheoretical analysis is evaluated, giving examples of methodology to explore theinner workings of networks when solving specific tasks.