Topological Data Analysis and the Activations in a Convolutional Neural Network

Abstract

Topologisk dataanalyse (TDA) omhandler studiet av datas form. TDA kan finne verdifull kvalitativ og kvantitativ informasjon fra kompliserte dataset. Convolutional Neural Networks (CNNs) løser et mangfold av oppgaver bedre enn noen annen teknologi, men er ikke fullstendig forstått. Gjennom å studere aktiveringer av nevroner i et mellomliggende lag i en CNN, kan vi oppnå en bedre forståelse, både av den spesifikke CNN, og av CNNs generelt. Et set av aktiveringer utgjør et interessant, men komplekst datasett. I denne oppgaven gjennomgår jeg et antall TDA-metoder, som senere blir anvendt på datasettet av aktiveringer. Dette leder til det jeg kaller the Mapper Activation Atlas. Jeg undersøker også klustere av aktiveringer med persistent homologi og UMAP, og identifiserer og parametriserer sirkelstruktur.

Topological Data Analysis (TDA) is concerned with studying the shape of data. TDA can extract valuable qualitative and quantitative information from complicated datasets. Convolutional Neural Networks (CNNs) have state-of-the-art performance on a variety of tasks, but are not fully understood. Through studying the activations of neurons at an intermediate layer in a CNN, we can gain a better understanding, both of a particular CNN, and of CNNs in general. A set of activations constitute an interesting, but complex dataset. In this thesis, I review a number of TDA methods which is then applied to the dataset of activations. This leads to what I call the Mapper Activation Atlas. I also investigate clusters of activations with persistent homology and UMAP, identifying and parametrising circular structure.