Neural Networks on Low-Rank and Stiefel Manifolds

Abstract

I denne oppgaven ser vi på effekten av dyp læring som optimal kontroll på mangfoldigheter. Vi utvikler og trener flere nettverk som bevarer lav-rang og ortogonalitet i treningsprosessen. Bibetingelsen til optimal kontroll problemet er en ordinær differensialligning, og invariantene blir bevart igjennom geometrisk numerisk integrasjon av denne. Vi utviklet disse metodene etter å ha sett at Residuale Nevrale Nettverk (ResNet) klassifiserte like godt med input som var trunkert med singulær verdi dekomposisjon som orginale data. De utviklede metodene klassifiserer like godt, eller nesten like godt, som den orginale ResNet formuleringen. En av methodene er også en redusert-orden metode som har færre trenbare parametre per lag i nettverket. Til slutt, så viser vi at våre metoder er mer robust mot såkalte "Adversarial Attacks", og argumenterer for at dette har sammenheng med bevaring av struktur og i all hovedsak ortogonalitet.

In the context of deep learning as optimal control, we investigate the effects of training neural networks on the low-rank and Stiefel manifolds. Low-rank and orthogonality is preserved through numerical geometric integration. In this way, we formulated networks evolving on lower-dimensional manifolds. This is based on the hypothesis that we do not need the entire dimension of the input space to make a classification. We see that Residual Neural Networks (ResNet) performs as well on a truncated singular value decomposition of the data as the original. We show that the developed methods perform as well, or nearly as well, as the original ResNet formulation in terms of accuracy. One of the methods is also an order-reduction method, which has fewer trainable parameters per layer. Furthermore, we show that our methods are more robust in terms of adversarial Fast Gradient Sign attacks, and we argue that this benefit is a result of the structure-preservation during numerical integration.