Combining Artificial Neural Networks with Reduced Order Models with Applications to Classification Problems

Abstract

Denne avhandlingen er en konseptutføring for reduksjonsteknikker for nevrale nettverk. Modellen som er blitt redusert er VGG-16-modellen, som er trent på augmenterte versjoner av både CIFAR-10-datasettet og SVHN-datasettet. Prosedyren for å konstruere et redusert nevralt nettverk innebærer å ta ut-dataene fra et lag i et fullstendig nevralt nettverk, projisere dem til en mindre dimensjon ved hjelp av en projeksjonsmatrise, og kartlegge ut-dataene til utdatarommet til det fullstendige nevrale nettverket. Det reduserte nevrale nettverket kan deretter trenes på nytt ved hjelp av metoder som kunnskapsdestillasjon hvis nøyaktigheten ikke er tilstrekkelig. Metodene til konstruksjon av projeksjonsmatrisene var Proper Orthogonal Decomposition og Active Subspaces. De implementerte metodene for kartlegging av in-data og ut-data er Feedforward Neural Networks og Polynomial Chaos Expansion. Alle kombinasjoner mellom projeksjonsmatrisene og inndata-utdata-kartleggingene er implementert. Denne avhandlingen gir gradvise resultater under konstruksjonen av det reduserte nevrale nettverket for å evaluere de ulike stegene i prosessen. Kvantitative og kvalitative resultater blir presentert for å se effekten av variasjoner i uavhengige variabler innenfor metodene for reduserte nevrale nettverk. Etter å ha presentert og diskutert resultatene, samt valgene som ble tatt under implementeringen, gir vi en anbefaling for prosedyren for å konstruere reduserte nevrale nettverk.

This thesis serves as a proof of concept for the neural network reduction techniques. The model that has been reduced is the VGG-16 model, trained on augmented versions of both the CIFAR-10 dataset and the SVHN dataset. The procedure for constructing a reduced neural network is to take the output from a layer in a full neural network, project it to a smaller dimension using a projection matrix, and mapping the output onto the output-space of the full neural network. The reduced neural network can then be re-trained using knowledge distillation methods, if the accuracy is inadequate. The projection matrix construction methods used were Proper Orthogonal Decomposition and Active Subspaces. The input-output mapping methods that have been implemented are Feedforward Neural Networks and Polynomial Chaos Expansion. All combinations between the projection matrices and input-output mappings have been implemented. This thesis provides incremental results during the construction of the reduced neural network to evaluate the different steps of the process. Quantitative and quantitative results are provided to see the effect of varying independent variables within the reduced neural network methods. After presenting and discussing the results as well as choices taken during the implementation, we give a recommendation for the procedure of constructing reduced neural networks.