Robustness and Stability of Long Short-Term Memory Recurrent Neural Networks

Abstract

Denne masteroppgaven har som mål å studere robusthet og stabilitet i lys av den populære rekurrente nevrale nettverkstypen 'lang kortidsminne' (long short-term memory) i møte med perturbert inngangsdata and pertubasjoner av nettverkets initial tilstander. Rekurrente\\ nevrale nettverk kan approksimere dynamiske systemer som følger av modellens mulighet til å vedlikeholde et minne av fortiden. Det er viktig å studere, bortsett fra robusthet mot perturbasjoner i input, stabilitet når et rekurrent nevralt nettverk benyttes til å modellere dynamiske systemer som innehar stabilitetsegenskaper. Rekurrente nevrale nettverk i regressjonsoppgaver har mange applikasjonsmuligheter, mange av dem sikkerhetskritiske. Introduksjonen av 'Motstander eksempler' (adversarial examples) begrenser mange felt som kan dra nytte av disse modellene. 'Motstander eksempler' er inngangsdata som er spesifikt designet for å produsere frem avvik i nettverkets utgang. Det er derfor viktig å studere robusthet og stabilitet av kunstig rekurrente nevrale nettverk for å redusere avstanden mellom teoretiske modeller i akademia og applikasjon i industrien.

Robusthet mot perturbering av inngangsdata blir studert i lys av konseptet vedvarende eksitasjon (persistency of excitation), en viktig betingelse i systemidentifikasjon. Vedvarende eksistasjon er relevant for systemer som innehar signaler (inngangsverdier) som interagerer med parametre i modellen. Det er viktig at signalene bærer nok informasjon om systemet for produsere gode parameter estimat. Vedvarende eksitasjon har nylig blitt foreslått som et verktøy for å robustifisere dype nevrale nettverk. En tradisjonell måte for å forsøke å øke robustheten til kunstige nevrale nettverk, norm regularisering, vises å være ekvivalent et robust optimeringsproblem. Robust optimering er et felt innenfor matematisk optimalisering som søker løsninger på problemer med data som innehar usikkerhet, begrenset av en usikkerhetsmengde. Norm regularisering og robust optimering ekvivalensen baner vei for en rik klasse av robuste lineære optimeringsproblemer. Det rekurrente nevrale nettverket, kort langtidsminne, blir modifisert for å kunne anvende vedvarende eksitasjon-inspirerte treningsprosedyrer. To treningsprosedyrer som begge forsøker å sørge for vedvarende eksitasjon ved å injisere utenforstående signaler blir tilpasset og diskutert for det modifiserte rekurrente nevrale nettverket.

Stabilitet av det modifiserte rekurrente nevrale nettverket, kort langtidsminne, blir studert i lys av stabilitetskonseptet inngang-til-tilstand stabilitet (input-to-state stability). Vi representerer det nevrale nettverket som en ulineær tilstandsrepresentasjon. Diskret inngang-til-tilstand stabilitetskonsepter blir avendt for å foreslå tilstrekkelige betingelser på det nevrale nettverkets parametre for å sørge for inngang-til-tilstand stabilitetsegenskapen.

Det modifiserte rekurrente nevrale nettverkets robusthet og stabilitet blir evaluert på et to-tank system. Eksperimentene viser at det å injisere eksogene signaler inn i et kort langtidsminne rekurrent nevralt nettverk fører til en merkbar forbedring i prediksjonsevne sammenlignet med mer tradisjonelle metoder som norm regularisering. Håndhevelsen av inngang-til-tilstand betingelsene fører til en degradering i nettverkets prediksjonsevne. Prediksjonsevnen kan tilsynelatende forbedres ved å øke nettverkets kapasitet.

This master thesis aims at getting a deeper understanding of the robustness and stability of long short-term memory recurrent neural networks in view of perturbations in input and perturbation in initial conditions. Recurrent neural networks may approximate dynamic systems due to their ability to maintain a memory of the past. It is important to consider, apart from robustness to perturbation in input, stability when recurrent neural networks are used to model dynamic systems that exhibits stability properties. In a regression setting, they have a wide spectrum of application areas, many of which are considered safety-critical. The introduction of adversarial examples complicates the matter. Adversarial examples are inputs that are specifically designed to produce large errors in the output of a neural network. It is as such of high importance to study the ambiguous terrain of robustness and stability of recurrent neural networks in order to shorten the gap between theoretical models in academia and actual real-world application.

Input perturbation robustness is studied from the perspective of persistency of excitation, an important condition in system identification. Persistency of excitation is relevant for systems that possess signals (i.e. inputs) that interact with some unknown system parameters. It is important that the input signal is rich enough in order to produce good parameter estimates. It has recently been interest in studying if this principle is applicable to deep learning as means to produce robust parameter estimates. The common technique of attempting to robustify neural networks, norm penalty regularisation, is shown to be equivalent to a robust optimisation objective. Robust optimisation seeks to deal with optimisation problems in which uncertain data is present, constrained by some uncertainty set. The norm penalty and robust optimisation equivalence pave the way for a large class of robust linear optimisation problems. The long short-term memory recurrent neural network is altered to account for the persistency of excitation principle. Two training procedure, attempting to persistently excite neural network parameters by injecting exogenous signals, are adapted and discussed for the persistently exciting-inspired long short-term memory recurrent neural network.

Stability of the altered long short-term memory neural network will be studied from the perspective of input-to-state stability. The neural network is represented in state-space form. Discrete input-to-state stability concepts are used to propose sufficient constraints on the parameters of the altered long short-term memory neural network for establishing the input-to-state stability property.

The robustness and stability of the altered long short-term memory neural network is evaluated on a cascaded tanks system identification problem. The experiments show that injecting exogenous signals into a long short-term memory recurrent neural network lead to noticeably better performance compared to regular norm regularisation techniques. The enforcement of the sufficient stability conditions results in some deterioration in performance, which may evidently be mitigated by increasing network capacity.