dc.contributor.advisor | Tufte, Gunnar | |
dc.contributor.advisor | Jensen, Johannes Høydahl | |
dc.contributor.author | Aven, Thomas | |
dc.date.accessioned | 2021-09-15T16:15:58Z | |
dc.date.available | 2021-09-15T16:15:58Z | |
dc.date.issued | 2020 | |
dc.identifier | no.ntnu:inspera:57320302:23311330 | |
dc.identifier.uri | https://hdl.handle.net/11250/2777862 | |
dc.description.abstract | Reservoarberegning har blitt et fremtredende medlem av paradigmet for
ukonvensjonell dataprosessering. Dette er et rammeverk velegnet for prosessering
av tidsmessige og sekvensielle data, tradisjonelt ved bruk av rekurrente nevrale
nettverk, som gjør tidligere input tilgjengelig som en umiddelbar avlesning.
Det er dog ikke nødvendig at reservoaret er et kunstig nevralt nett -- ethvert
høydimensjonalt, drevet system som innehar kompleks, dynamisk oppførsel kan
brukes. Et bredt spekter av fysiske substrater er foreslått som
reservoarmaskiner, fra nanomagnetiske ensembler til levende nevronkulturer.
En stor utfordring under realisering av fysiske reservoarer er substratets
fysiske begrensninger. Dette er i kontrast til abstrakte reservoarer,
f.eks. tilfeldige rekurrente nevrale nettverk, som ikke har fysiske
begrensninger med hensyn til dimensjonalitet, romlig utforming og
observerbarhet. I denne oppgaven undersøkes reservoarer med realistiske
dimensjonelle og romlige egenskaper, hvor muligheten for å gjøre strukturelle
endringer er begrenset. I utgangspunktet gjennomfører vi eksperimenter med
tilfeldige rekurrente nevrale nettverk som består av tilfeldige geometriske
grafer, som er den enkleste modellen for romlige nettverk. Eksperimentene
videreføres med gitterstrukturer, som er høyst regulære arkitekturer, og er
vanlige i numerisk fysikk.
Resultater viser at romlige begrensninger hemmer reservoarers ytelse under
ytelsestesten NARMA-10 for begge modeller. Dersom rettede kanter introduseres i
nettverkene istedenfor toveis kanter, vil ytelsen kunne konkurrere med etablerte
modeller, noe som indikerer at informasjonsflyt er en viktig egenskap i gode
reservoarer.
Videre viser det seg at reservoarer basert på firkantede gitter med fast, global
input yter like godt som tilfeldige rekurrente nettverk på NARMA-10 og
Mackey-Glass ytelsestester. Verdien i regulære, deterministiske strukturer som
et verktøy for teoretisk analyse evalueres, og det gis eksempler for å utforske
hvordan nettverk oppfører seg når de løser spesifikke oppgaver. | |
dc.description.abstract | Reservoir computing has become a predominant member of the unconventional
computing paradigm. It is a framework suited for processing of temporal and
sequential data, traditionally using recurrent neural network models to
incorporate past inputs into an instantaneous readout.
Interestingly, there is no need for the reservoir to be an artificial neural
network -- any high-dimensional, driven system exhibiting complex dynamic
behavior can be used. A wide range of physical substrates have been proposed as
reservoir machines, ranging from nanomagnetic assemblies to living cultures of
neurons.
A major challenge when realizing physical reservoirs is the physical limitations
present in the underlying substrate. This is in contrast to abstract model
reservoirs, e.g. echo state networks, which have no physical constraints in
regards to dimensionality, spatial layout and observability. In this thesis, we
investigate reservoirs with realistic dimensional and spatial properties,
constraining the possibility of making structural changes. Initially, we conduct
experiments with echo state networks that consist of random geometric graphs,
the simplest spatial network model. We then further this work with lattice
structures, which are highly regular architectures, and are common in
computational physics.
Results show that spatial constraints by default inhibit the NARMA-10 benchmark
performance of both models. However, introducing directed edges to the network
instead of bidirectional ones restores performance to compete with established
models, indicating that the flow of information is an important property in
quality reservoirs.
Furthermore, simple square lattice reservoirs with a fixed, global input are
found to perform as well as echo state networks on NARMA-10 and Mackey-Glass
benchmarks. The value of regular, deterministic structures as a tool for
theoretical analysis is evaluated, giving examples of methodology to explore the
inner workings of networks when solving specific tasks. | |
dc.language | | |
dc.publisher | NTNU | |
dc.title | Exploring Reservoir Computing with Spatial Constraints | |
dc.type | Master thesis | |