Group Equivariant Convolutional Neural Networks

Abstract

Å oppdage og klassifisere gjenstander i et bilde er en viktig underoppgave i bygge algoritmer som samhandler med den virkelige verden. I moderne applikasjoner, blir denne oppgaven løst ved hjelp av dyp læring med konvolverede. Et problem med denne metoden er at den reagerer på uforutsigbare måter når et inputbilde roteres, noe som fører til ustabile output hvis ingenting gjøres for å forhindre det. Selv om dette problemet vanligvis løses ved å gi algoritmen mer data, finnes det også andre alternativer. Denne oppgaven undersøker måter å utnytte rotasjonssymmetrier ved algoritmisk konstruksjon, ved å bruke begge gruppekonvolusjoner og harmoniske nettverk, og forsøker å måle fordeler og ulemper med å bruke dem. De resulterende algoritmene lærer raskere på rotasjonsinvariante klassifiseringsproblemer, men blir fremdeles bedre enn tradisjonelle metoder når de nok dataforbedringer brukes. Harmoniske nettverk er en arkitektur som egner seg til roterte inputs, og forbedrer testfeilen til et vanlig konvolusjonsnett på det roterte MNIST datasettet fra ∼ 4.9% til ∼ 1,7%. Gruppekonvolusjoner og harmoniske nettverk har flere fordeler i treningsfasen og gjør det ofte bedre enn tradisjonelle metoder når datamengden er begrenset.

Detecting and classifying features in an image is an important subtask in building algorithms that interact with the real world. In modern applications, this task is solved using deep learning with convolutional layers. A problem with this method is that it responds in unpredictable ways when an input image is rotated, leading to unstable outputs if nothing is done to mitigate it. While this problem is usually solved by giving the learning algorithms more data, there are other alternatives. This thesis explores ways to exploit rotational symmetries by algorithmic construction, using both group convolutions and harmonic networks, and attempts to measure the benefits of using them. The resulting algorithms learn faster on rotationally invariant classification problems but are still outperformed by traditional methods when substantial data augmentation is used. Harmonic networks are an architecture that lends itself to rotated inputs, improving on the test error of a basic convolutional network on the rotated MNIST dataset from ∼ 5.0% to ∼ 1.7%. Group convolutions and harmonic networks have several advantages during the training phase and often do better than traditional methods when data is limited.