Topologisk dataanalyse på konvolusjonelle nevrale nettverk

Abstract

I denne oppgaven presenteres et forsøk på å gjenskape den såkalte primærsirkelen av pikselmatriser i vektorrommet av vekter i et konvolusjonelt nevralt nettverk (CNN) trent på et bildedatasett, ved hjelp av åpen kildekode programvare. Totalt 100 CNN ble trent til omtrent 98 prosent nøyaktighet på et datasett av håndskrevne siffer (MNIST), og en punktsky av 6400 nidimensjonale vektmatriser ble tetthetsfiltrert til 1920 vektmatriser og Mapper-algoritmen ble brukt til å generere nerven av punktskyen. Her er det gjort funn som støtter opp om hypotesen om at et CNN observerer bilder på samme måte som det primære synssenteret hos pattedyr. Sensitivitetsanalyser ble utført for å teste styrken i det foregående eksperimentet. Enkle parameterjusteringer i tettsfiltrering og Mapper-algoritmen medførte at sirkeltopologien ble brutt. En idealisert primærsirkel ble diskretisert og påført vektene til et CNN som et utrenbart nettverkslag. Dette nettverket ble trent på MNIST-datasettet og testet på et hittil usett datasett av naturlige bilder av av reelle husnummerskilt (SVHN). Hypotesen om en dramatisk økning i testnøyaktighet gitt et påført topologisk rom har ikke blitt bekreftet. Til sist ble sammenhengen mellom en sirkulær topologi i treningsdata og testnøyaktighet testet for 100 trente CNN. Det er grunn til å stille spørsmål om tidligere observerte gunstige topologiske effekter på CNN har hatt en tidsbegrenset gyldighet, gitt den raske utviklingen innen maskinlæringsmodeller og infrastruktur generelt.

In this thesis we present an attempt to reproduce the so-called primary circle of pixel patches in the vector space of weights in a Convolutional Neural Network (CNN). In total 100 CNNs were trained to about 98 per cent test accuracy on a dataset of hand written digits (MNIST). A point cloud of 6,400 nine-dimensional weight vectors were density filtered to 1,920 points, and the Mapper algorithm was applied to generate the nerve of the point cloud. We have findings supporting the hypothesis that a CNN observes images in the same manner as the mammalian primary cortex. Sensitivity analysis were performed on that experiment. Simple parameter adjustments made the circle topology in the data vanish. An idealized discretized primary circle was enforced on a layer of the CNN and frozen from training adjustment. This network was trained on the MNIST set and tested on unseen house number sign photos (SVHN). The hypothesis of a large increase in test accuracy on the unseen data was not confirmed. Ultimately the connection between a circular topology in the CNN weights and train-test accuracy during training was tested. There was no sign of any correlation between them. There seem to be good reason to ask whether previously reported benefits on applying topological information on CNN structures has been of limited duration, given the development of the machine learning field and infrastructure in general.