Exploring the Efficiency of Zero-Cost Proxies in NAS for Human Action Recognition

Abstract

Både Neural Architecture Search (NAS) og Graph Convolutional Networks (GCNs) er to felter innen maskinlæring som har gjennomgått en stor utvikling de seneste årene. Det å finne en GCN-arkitektur som gir gode resultater kan være svært tidskrevende og ressurskrevende. Zero-cost proxyer, som er utformet for å kun kreve en enkelt minibatch med treningsdata for å score et neural nettverk, har blitt introdusert for å gjøre denne prosessen mer effektiv. Hovedfokuset med denne avhandlingen er å undersøke bruken og ytelsen av zero-cost proxies for å evaluere GCN innenfor oppgaver relatert til gjenkjenning av menneskelig aktivitet (HAR) som et første steg mot å bruke dem i en NAS-algoritme. Basert på behovet for videre forskning i feltet, tar studien sikte på å bygge bro over dette gapet ved å evaluere forskjellige zero-cost proxies på GCN-arkitekturer. Så vidt vi vet, er studien den første til å utforske hvordan zero-cost proxies presterer på GCN.

Gjennom en serie analyser og eksperimenter, viser studien at integrering av zero-cost proxies kan betydelig forbedre effektiviteten til NAS-algoritmer. Resultatene viser at de best presterende zero-cost proxyene viser en Spearman Rank Correlation (ρ) på omtrent 0.8, noe som indikerer en sterk til veldig sterk korrelasjon. Imidlertid blir ingen betydelig forbedring i korrelasjon oppdaget når arkitekturene blir analysert etter å ha blitt trent i flere epoker, noe som antyder at zero-cost proxies er mest effektive ved initialiseringen av det nevrale nettverket. Forsøk på å kombinere zero-cost proxier ved hjelp av stemmegiving og vektet aritmetisk gjennomsnitt viser potensial, men gir ikke noen betydelig forbedring sammenlignet med å bruke zero-cost proxies individuelt.

Neural Architecture Search (NAS) and Graph Convolutional Networks (GCNs) are two fields within machine learning that have undergone major development in recent years. Finding a GCN architecture which yields optimal results can be time-consuming and resource-intensive. Zero-cost proxies, which are designed only to require a single minibatch of training data to score a neural network, have been introduced to make this process more efficient. The core focus of this thesis is to investigate the application and performance of zero-cost proxies for evaluating GCNs within the context of Human Action Recognition (HAR) tasks as a first step towards using them in a NAS algorithm. Furthermore, given the need for further research, the study aims to bridge this gap by evaluating different zero-cost proxies on GCN architectures. To the best of our knowledge, the study is the first to explore how zero-cost proxies perform on GCNs.

Through a series of analyses and experiments, the study demonstrates that integrating zero-cost proxies can significantly enhance the efficiency of NAS algorithms. The results reveal that the top-performing zero-cost proxies display a Spearman Rank Correlation (ρ) of approximately 0.8, indicating a strong to very strong correlation. However, no substantial improvement in correlation is detected when analysing architectures as they are trained for several epochs, implying that the zero-cost proxies might be most efficient at the initialisation of the neural network. Attempts to combine zero-cost proxies through vote and weighted arithmetic mean are showing promise, but they are not resulting in significant improvement compared to the individual application of each zero-cost proxy.