Practical Reservoir Computing & Echo State Property Metrics

Abstract

RC er ein del av eit tvunge paradigmeskifte når tradisjonelle datatilnærmingar når fysikkens grenser med problem som nedbremsinga av Moores lov og kraftmuren. Det ukonvensjonelle datahandsamingsrammeverktøyet, RC, utnyttar dynamikken som finst i naturlege system, kalla reservoar, eksemplifisert ved krusningar på overflata i ei bøtte med vatn. Sidan ein kan sjå på mange naturlege system som reservoar, kan ein også nytte RC for å systematisk studere emergens, eit uhandgripeleg fenomen i naturen. Vidare tilbyr RC mange fordelar for databehandling, som til dømes lågt energibruk i eit system som lett kan skalerast.

Det er likevel eit behov for metrikkar som måler potensialet til reservoar slik at dei kan velgast eller utformast for eit berekningsføremål. Denne oppgåve gjer eit forsøk på å måle ESP, tilsvarande arbeidsminne. Det kan også skildrast som mengda informasjon midlertidig tilstades i reservoarsystemet over ei kortare periode. Sluttmålet er å kvatifisere denne eigenskapen i biteiningar ved hjelp av ein metrikk utvikla i forarbeidet til oppgåva, ESB.

Som nemnd kan RC gjere nytte av ei rekke naturlege system. I dette tilfellet er reservoaret ei samling av nanomagnetar. Magnetane er ordna i eit flatt rutenett, slik at nord-sør-polane er på linje med gitt plan. Eit døme på mogleg samansetting av plasseing er eit sjakkbreitt, der kvar magnet er plassert i midten av kvar rute med polane peikande i forskjellige retningar. Magnetane er atypiske, på den måten at polane kan byte plass utan fysiske rørsler i magnetane. Dette fører til at systemet kan unngå nord-nord og sør-sør samanstøyt etter beste evne. Her kan ein sjå likheitar med ei uroleg overflate av vatn som er i ferd med å roe seg. Etter å ha redusert samanstøyt, går systemet inn i ein av mange moglege halv-stabile steady states, eit naturleg fysisk fenomen. Ved å forstyrre systemet enno meir, til dømes ved å snu ein enkelt magnet, byrjar systemet å søke etter ein ny steady state konfigurasjon på nytt. Med andre reservoar, som ei bøtte med vatn, er det vanskeleg å sette systemet på pause for å analysere reservoarresponsen mellom forstyrringane. Magnetpolane finn dermed ein steady state, og blir verande i den tilstanden utan ekstern stimulans. Reservoaret er difor ideelt for bruk som til dømes intermittent computing, der forstyrringar er forventa under berekning.

No er samhandling og måling av det fysiske magnetsystemet tidkrevjande, så SI-materialet vil verte simulert som eit ASI med programvare som fangar opp fysikken til interaksjonane mellom magnetane. Simuleringar er mykje raskare å jobbe med, relativt sett, men noko avgrensande. Difor vert ein kvar gitt ASI konvertert til ein graf som ein surrogatmodell. Grafen er ein surrogatmodell, sidan har er ein meir kortfatta representasjon av stabile tilstandar og fører til eit meir skalerbart eksperimentelt oppsett. Dessutan opnar grafrepresentasjonen naturlegvis for ein diskusjon som låner verktøy og idéar frå grafteori.

Fyrste del av oppgåva til fokusere på å setje opp eit praktisk RC system med magnetreservoaret, med ein ikkje-lineær funksjon som referanse. Med eit meir teoretisk fokus, vil den andre delen foreslå metrikkar for å måle ESP. Berekningane vert også evaluert ved å føreseie suksessen til reservoaret på eit praktisk kontrollsystemproblem; balanserande n-invertert pendel på ei vogn, referert til som balanseringsreferansa/problemet.

På den ikkje lineære referansa vart det utvikla fleire RC-arkitekturar, der den mest nøyaktige modellen nådde opp til 67\% nøyaktigheit på eit utfordrande ikkje-lineært datasett. ESB-berekninga kunne ikkje føreseie suksess eller fiasko for balanseringsreferansa på ein pålitelig måte, men dette var mest truleg grunna mangel på eksperimentkontroll. Høg nøyaktigheit vart også oppnådd i balansereferansa, med opp til to balanseringspendlar. To pendlar gav ei utilstrekkeleg mengd datapunkt for nyansert samanlikning, men viser potensial for vidare utvikling. Sett vekk ifrå referanseresultata, vart det utvikla ei rekke verktøy og tilnærmingar som er relevante for vidare forsking. Det vil seie at det vart utvikla ei lovande metode for å analysere reservoar som garfar. Vidare vart det oppnådd innsikt i korleis ein RC kan verte forstått som ein klassifikator, og korleis RC-systemet produserer sine resultat.

-oversatt av Elise Skeide

RC is part of a forced paradigm shift as traditional computing approaches arrive at the limits of physics with problems like the slowing of Moore's law and the power-wall. The unconventional computing framework, RC, exploits the dynamics present in natural systems, dubbed reservoirs, exemplified by the rippling surface of a bucket of water. Since many natural systems can be considered reservoirs, RC also provides a systematic way to study emergence, an intangible phenomena in nature. Furthermore, RC offers many advantages for computing such as low energy consumption in a system that scales well.

However, there is a need for metrics to gauge the potential of reservoirs, so that they can be selected or designed for a computational purpose. This thesis will attempt to measure the ESP, which is analogous to short-term working memory; the amount of information temporarily present in the reservoir system over time. The end-goal is to quantify this property in units of bits by a metric developed in foundational work to the thesis, called the ESB.

Recalling that RC can be a number of natural systems, the reservoir of choice is an array of nano-magnets. The magnets are arranged on a flat grid, so that their north-south poles are aligned with this plane. An example arrangement is a chessboard, with each magnet glued to the center of each square in various directions. The magnets are unusual in that their poles can switch without physical movement, so the magnets poles reconfigure to avoid north-north, south-south clashes to the best of their ability. Note the parallel with a water surface that is settling. Having reduced clashes, the system enters one of many possible semi-stable steady states, a natural physical phenomenon. By perturbing the system further, say by flipping a single magnet, the system recommences its search for a stable configuration. With other reservoirs, like a bucket of water, it is hard to pause and analyse the reservoir response between perturbations as the system races towards a calm surface. The magnet poles however settle in various configurations and stay that way, without external stimulus. The reservoir is therefore ideal for applications like intermittent computing, where interruptions are expected during computation.

At present, interacting and measuring the physical magnet system is time-consuming, so the SI material will be simulated as an ASI with software that captures the physics of the interactions between the magnets in the array. Simulations are relatively much faster to work with, but somewhat limiting. Therefore, any given ASI is converted to a graph as a surrogate model. The graph is a surrogate model, as it is a more succinct representation of the steady states and leads to a more scalable experimental setup. Furthermore the graph representation naturally allows for a discussion which borrows tools and ideas from graph theory.

The first part of the thesis will focus on setting up a practical RC system with the magnet reservoir with a non-linear function as a benchmark. With a more theoretical focus, the second part will propose metrics for measuring the ESP. The metrics are also evaluated by predicting the reservoir’s success on a practical control system problem; balancing n-inverted pendulum on a cart, referred to as the balancing benchmark/problem.

On the non-linear benchmark, several RC architectures where developed, with the most accurate model achieving up to 67\% accuracy on a challenging non-linear dataset. The ESB metric could not reliably predict success or failure on the balancing benchmark, but this was most likely due to a lack of experiment control. High accuracy's were also achieved in the balancing benchmark, with up to two balancing pendulums. Two pendulums was an insufficient amount of data-points for nuanced comparison, but demonstrates potential for further development. Aside from the benchmark performances, a number of tools and approaches were developed that are relevant for further research. I.e., a promising method for analyzing reservoirs as graphs was developed. Furthermore, insight was made as to how a RC could be understood as a classifier, and how the RC system produces its results.