Exploring the Efficiency of Zero-Cost Proxies in NAS for Human Action Recognition

Abstract

Både Neural Architecture Search (NAS) og Graph Convolutional Networks (GCNs) er to felter innen maskinlæring som har gjennomgått en stor utvik- ling de seneste årene. Det å finne en GCN-arkitektur som gir gode resultater kan være svært tidskrevende og ressurskrevende. Zero-cost proxyer, som er utformet for å kun kreve en enkelt minibatch med treningsdata for å score et neural nettverk, har blitt introdusert for å gjøre denne prosessen mer ef- fektiv. Hovedfokuset med denne avhandlingen er å undersøke bruken og ytelsen av zero-cost proxies for å evaluere GCN innenfor oppgaver relatert til gjenkjenning av menneskelig aktivitet (HAR) som et første steg mot å bruke dem i en NAS-algoritme. Basert på behovet for videre forskning i feltet, tar studien sikte på å bygge bro over dette gapet ved å evaluere for- skjellige zero-cost proxies på GCN-arkitekturer. Så vidt vi vet, er studien den første til å utforske hvordan zero-cost proxies presterer på GCN.

Gjennom en serie analyser og eksperimenter, viser studien at integrering av zero-cost proxies kan betydelig forbedre effektiviteten til NAS-algoritmer. Resultatene viser at de best presterende zero-cost proxyene viser en Spear- man Rank Correlation (ρ) på omtrent 0.8, noe som indikerer en sterk til veldig sterk korrelasjon. Imidlertid blir ingen betydelig forbedring i kor- relasjon oppdaget når arkitekturene blir analysert etter å ha blitt trent i flere epoker, noe som antyder at zero-cost proxies er mest effektive ved initialiseringen av det nevrale nettverket. Forsøk på å kombinere zero-cost proxier ved hjelp av stemmegiving og vektet aritmetisk gjennomsnitt viser potensial, men gir ikke noen betydelig forbedring sammenlignet med å bruke zero-cost proxies individuelt.

Neural Architecture Search (NAS) and Graph Convolutional Networks (GCNs) are two fields within machine learning that have undergone major devel- opment in recent years. Finding a GCN architecture which yields optimal results can be time-consuming and resource-intensive. Zero-cost proxies, which are designed only to require a single minibatch of training data to score a neural network, have been introduced to make this process more efficient. The core focus of this thesis is to investigate the application and performance of zero-cost proxies for evaluating GCNs within the context of Human Action Recognition (HAR) tasks as a first step towards using them in a NAS algorithm. Furthermore, given the need for further research, the study aims to bridge this gap by evaluating different zero-cost proxies on GCN architectures. To the best of our knowledge, the study is the first to explore how zero-cost proxies perform on GCNs.

Through a series of analyses and experiments, the study demonstrates that integrating zero-cost proxies can significantly enhance the efficiency of NAS algorithms. The results reveal that the top-performing zero-cost proxies display a Spearman Rank Correlation (ρ) of approximately 0.8, indicating a strong to very strong correlation. However, no substantial im- provement in correlation is detected when analysing architectures as they are trained for several epochs, implying that the zero-cost proxies might be most efficient at the initialisation of the neural network. Attempts to combine zero-cost proxies through vote and weighted arithmetic mean are showing promise, but they are not resulting in significant improvement compared to the individual application of each zero-cost proxy.