Bio-plausible Neural Networks - A Comparative Study of the Computational Demand and Capability to Infer Missing Values of Predictive Coding Networks

Abstract

Kunstige nevrale nettverk har hatt stor suksess siden de fikk sitt gjennombrudd ved hjelp av backpropagation, og har ført til innovasjon innen bildeklassifisering, regresjon, generering og mange flere områder. Et problem med backpropagation og kunstige nevrale nettverk er imidlertid modellenes biologiske troverdighet. Disse problemene er knyttet til feilrepresentasjon, vektsymmetri og overføring av nevronsignaler. Det første av disse tre problemene er hovedproblemet for det bioplausible nevrale nettverket som presenteres i denne avhandlingen. Den vil utforske prediktiv koding-nettverk, en maskinlæringsmodell presentert av Whittington and Bogacz [2017], som bygger på teori rundt prediktiv koding opprinnelig presentert av Rao and Ballard [1999].

Avhandlingen presenterer en studie av prediktiv koding-nettverks evne til å fylle inn manglende verdier i ufullstendige datasett og en analyse av deres komputasjonelle ressursbehov sammenlignet med kunstige nevrale nettverk som bruker backpropagation. Et eksperiment ble gjennomført for hvert av aspektene, der det første kvalitativt fastslår at prediktiv koding-nettverk kan utlede manglende verdier i ufullstendige representasjonsdatasett - gitt at det innføres et 'decay'-ledd i oppdateringsreglene for nettverket. Funnene viser også at ytelsen av prediktiv koding-nettverk som inferensmetode er noe lavere enn k-Nærmeste Naboer på begge representasjonsdatasettene som ble brukt i studien. Det andre eksperimentet fastslår kvantitativt at antallet flyttallsoperasjoner som utføres under trening av prediktiv koding-nettverk i gjennomsnitt er 738\% høyere sammenliknet med kunstige nevrale nettverk.

Funnene fra det første eksperimentet viser potensiale for prediktiv koding-nettverk som en modell som er i stand til både gjennomføre prediksjon i en retning av nettverket og inferens i den andre, og underbygger de relaterte artiklene ved å hevde modellens evne til å utføre inferens på både visuelle og representasjonelle data. Fremtidig arbeid kan ta sikte på å undersøke ytelsen til prediktive koding nettverk som en funksjon av hvor komplett datasettet er. Angående det andre aspektet avhandlingen tar for seg, tyder funnene på at kunstige nevrale nettverk har et fortrinn når det kommer til det miljømessige fotavtrykket. Fremtidig forskning bør undersøke hvordan prediktiv koding-nettverks komputasjonelle behov kan reduseres.

Artificial neural networks have had great success since their breakthrough using error backpropagation, sparking innovation in image classification, regression, generation, and many more fields. An issue backpropagation and artificial neural networks face, however, is the biological plausibility of these models. These issues relate to error representation, weight symmetry, and transmission of neuron signals. The first of these three issues is the main issue addressed by the bio-plausible neural network presented in this thesis. It will explore predictive coding networks, a machine-learning model presented by Whittington and Bogacz [2017], which builds on predictive coding theory originally presented by Rao and Ballard [1999].

The thesis presents a study of predictive coding networks' capability to infer missing values in incomplete datasets and an analysis of their computational demand compared against artificial neural networks using backpropagation. One experiment was conducted for each aspect, where the first qualitatively establishes that predictive coding networks can infer missing values in incomplete representational datasets - given the introduction of a decay term to their update rules. The findings also show that the performance of using predictive coding networks as an inference scheme lags behind k-Nearest Neighbors on both representational datasets used in the study. The second experiment quantitatively establishes that the number of floating point operations performed during the training of predictive coding networks is an average of 738\% larger than those of artificial neural networks.

The findings of the first experiment show promise for predictive coding networks as a model capable of inference and prediction in both network directions and substantiate the related works by asserting their ability to infer information on visual and representational data. Future work can be aimed at investigating the performance of predictive coding networks as a function of the completeness of the utilized dataset. For the second aspect the thesis addresses, the findings suggest an advantage of artificial neural networks concerning environmental impact. Future research should explore ways to reduce the computational demand of the model.