Regeneration and Generalization of Cellular Automata through Evolution Strategies

Abstract

Cellulære tilstandsmaskiner er systemer av celler som kan demonstrere avansert adferd, bare ved bruk av felles oppdateringsregler og lokal kommunikasjon. Disse oppdateringsreglene kan bli trent opp ved hjelp av maskinlæring for å utvikle systemer spesialisert til forhåndsbestemte oppgaver. Evolution strategies (ES) har blitt gjenoppdaget som et skalerbart alternativ til ledende optimaliseringsmetoder innenfor forsterkende læring, og har vist seg å tilpasses godt til miljøer med støy. Vi studerer ES og en variant av ES som anvender metalæring ved bruk av Hebbisk plastisitet, og undersøker deres evne til å regenerere og generalisere på en nevral cellulær tilstandsmaskin (NCA) med støy, når de blir trent til å forme et bestemt bilde. Eksperimentene utføres ved å skade modellene under vekst og evaluere responsen deres. I noen av eksperimentene trener vi modeller på skade som er lik den de påføres under testene, for å måle deres evner til å generalisere. Resultatene våre viser at ES-metodene er i stand til å utvikle en NCA, men at de ikke har vist seg å generalisere eller regenerere bedre enn optimaliseringsalgoritmene Adam og SGDM. Vi oppdager at ES viser en utmerket standhaftighet på NCA hvor den gjør få endringer etter å ha vokst frem bildet, og holder det statisk mye lengre enn den hadde muligheten til under trening.

Cellular automata are systems of cells that are able to exhibit advanced behavior, only relying on shared update rules and local communication. These update rules can be trained using machine learning to evolve systems specialized on predefined tasks. Evolution strategies (ES) have been rediscovered as a scalable alternative to state of the art reinforcement learning optimization methods and have also been shown to adapt well to noisy environments. We study ES along with a variant of ES using meta-learning through Hebbian plasticity, investigating their abilities to regenerate and generalize on noisy neural cellular automata (NCA), when trained to grow a specific image. The experiments are performed by damaging the models during the growth and evaluate their response. In some experiments, we train the model on damage similar to the damage they are exposed to in the tests to measure their ability to generalize. Our results prove that the ES methods are capable of evolving NCA, but do not indicate to better generalize or regenerate than Adam and SGDM optimizers. We find that ES demonstrates exceptional persistence on NCA where it applies very few changes after growing the target image, keeping the image consistent far longer than it had the chance to during training.