Evolutionary strategies as an alternative to backpropagation methods

Abstract

Den mest brukte treningsmetoden i maskinlæringsfeltet er backpropagation. Men denne metoden er kjent for å ha enkelte svakheter med generalisering og støymiljø. Evolutionary Strategies (ES) derimot, har vist seg å kunne være et alternativ til de mer populære treningsmetodene innenfor Reinforcement Learning, men den største utfordringen er den lange treningstiden. Det skal forskes på Adam, en velkjent backpropagation metode basert på gradient descent estimering, sammenlignet med ES. Modellen baserer seg på nevrale cellulære tilstandsmaskiner, som er et selvorganiserende system av celler kontrollert av felles oppdateringsregler. Denne tilstandsmaskinen kan oppnå avanserte egenskaper, og vi ønsker å undersøke hvordan Adam og ES oppfører seg når tilstandsmaskinen trenes til å danne et spesifikt bilde. Eksperimentene baserer seg på å skade disse tilstandsmaskinene på forskjellige måter og analysere resultatene. De viktigste resultatene viser at ES er mer robust enn Adam. Likevel, når modellen med Adam er optimalisert til å gro, er det vanskelig å oppdage signifikante forskjeller på de regenerative egenskapene mellom Adam og ES.

Gradient descent through backpropagation is the most common training method in the machine learning space. This method is however known for having some weaknesses with generalization and noisy environments. Alternatively, evolution strategies (ES) has been shown to be an alternative to the most recent reinforcement learning (RL) optimization methods, but its biggest challenge is training time. Adam, a well known backpropagation method based on gradient descent, is being compared to ES. The model is based on a neural cellular automaton (NCA), which is a self-organizing system of cells controlled by shared update rules. This system can be trained to achieve advanced behaviour, and we want to investigate how Adam and ES behave when training to grow a chosen image. The experiments are based on damaging the NCA in different ways and analyzing their reaction using mainly loss metrics. The results show that ES achieves better persistence than Adam. However, with Adam being specifically trained to persist, it is sometimes hard to observe any impressive regenerative capabilities between Adam and ES.