Exploring Reservoir Computing with Spatial Constraints

Abstract

Reservoarberegning har blitt et fremtredende medlem av paradigmet for ukonvensjonell dataprosessering. Dette er et rammeverk velegnet for prosessering av tidsmessige og sekvensielle data, tradisjonelt ved bruk av rekurrente nevrale nettverk, som gjør tidligere input tilgjengelig som en umiddelbar avlesning.

Det er dog ikke nødvendig at reservoaret er et kunstig nevralt nett -- ethvert høydimensjonalt, drevet system som innehar kompleks, dynamisk oppførsel kan brukes. Et bredt spekter av fysiske substrater er foreslått som reservoarmaskiner, fra nanomagnetiske ensembler til levende nevronkulturer.

En stor utfordring under realisering av fysiske reservoarer er substratets fysiske begrensninger. Dette er i kontrast til abstrakte reservoarer, f.eks. tilfeldige rekurrente nevrale nettverk, som ikke har fysiske begrensninger med hensyn til dimensjonalitet, romlig utforming og observerbarhet. I denne oppgaven undersøkes reservoarer med realistiske dimensjonelle og romlige egenskaper, hvor muligheten for å gjøre strukturelle endringer er begrenset. I utgangspunktet gjennomfører vi eksperimenter med tilfeldige rekurrente nevrale nettverk som består av tilfeldige geometriske grafer, som er den enkleste modellen for romlige nettverk. Eksperimentene videreføres med gitterstrukturer, som er høyst regulære arkitekturer, og er vanlige i numerisk fysikk.

Resultater viser at romlige begrensninger hemmer reservoarers ytelse under ytelsestesten NARMA-10 for begge modeller. Dersom rettede kanter introduseres i nettverkene istedenfor toveis kanter, vil ytelsen kunne konkurrere med etablerte modeller, noe som indikerer at informasjonsflyt er en viktig egenskap i gode reservoarer.

Videre viser det seg at reservoarer basert på firkantede gitter med fast, global input yter like godt som tilfeldige rekurrente nettverk på NARMA-10 og Mackey-Glass ytelsestester. Verdien i regulære, deterministiske strukturer som et verktøy for teoretisk analyse evalueres, og det gis eksempler for å utforske hvordan nettverk oppfører seg når de løser spesifikke oppgaver.

Reservoir computing has become a predominant member of the unconventional computing paradigm. It is a framework suited for processing of temporal and sequential data, traditionally using recurrent neural network models to incorporate past inputs into an instantaneous readout.

Interestingly, there is no need for the reservoir to be an artificial neural network -- any high-dimensional, driven system exhibiting complex dynamic behavior can be used. A wide range of physical substrates have been proposed as reservoir machines, ranging from nanomagnetic assemblies to living cultures of neurons.

A major challenge when realizing physical reservoirs is the physical limitations present in the underlying substrate. This is in contrast to abstract model reservoirs, e.g. echo state networks, which have no physical constraints in regards to dimensionality, spatial layout and observability. In this thesis, we investigate reservoirs with realistic dimensional and spatial properties, constraining the possibility of making structural changes. Initially, we conduct experiments with echo state networks that consist of random geometric graphs, the simplest spatial network model. We then further this work with lattice structures, which are highly regular architectures, and are common in computational physics.

Results show that spatial constraints by default inhibit the NARMA-10 benchmark performance of both models. However, introducing directed edges to the network instead of bidirectional ones restores performance to compete with established models, indicating that the flow of information is an important property in quality reservoirs.

Furthermore, simple square lattice reservoirs with a fixed, global input are found to perform as well as echo state networks on NARMA-10 and Mackey-Glass benchmarks. The value of regular, deterministic structures as a tool for theoretical analysis is evaluated, giving examples of methodology to explore the inner workings of networks when solving specific tasks.