dc.contributor.advisor | Ramampiaro, Heri | |
dc.contributor.advisor | Ihlen, Espen A. F. | |
dc.contributor.advisor | Tempel, Felix | |
dc.contributor.author | Imran, Zaim ul-Abrar | |
dc.contributor.author | Schau. Max Torre | |
dc.date.accessioned | 2023-10-03T17:24:54Z | |
dc.date.available | 2023-10-03T17:24:54Z | |
dc.date.issued | 2023 | |
dc.identifier | no.ntnu:inspera:142737689:35883177 | |
dc.identifier.uri | https://hdl.handle.net/11250/3093960 | |
dc.description.abstract | Både Neural Architecture Search (NAS) og Graph Convolutional Networks (GCNs) er to felter innen maskinlæring som har gjennomgått en stor utvikling de seneste årene. Det å finne en GCN-arkitektur som gir gode resultater kan være svært tidskrevende og ressurskrevende. Zero-cost proxyer, som er utformet for å kun kreve en enkelt minibatch med treningsdata for å score et neural nettverk, har blitt introdusert for å gjøre denne prosessen mer effektiv. Hovedfokuset med denne avhandlingen er å undersøke bruken og ytelsen av zero-cost proxies for å evaluere GCN innenfor oppgaver relatert til gjenkjenning av menneskelig aktivitet (HAR) som et første steg mot å bruke dem i en NAS-algoritme. Basert på behovet for videre forskning i feltet, tar studien sikte på å bygge bro over dette gapet ved å evaluere forskjellige zero-cost proxies på GCN-arkitekturer. Så vidt vi vet, er studien den første til å utforske hvordan zero-cost proxies presterer på GCN.
Gjennom en serie analyser og eksperimenter, viser studien at integrering av zero-cost proxies kan betydelig forbedre effektiviteten til NAS-algoritmer. Resultatene viser at de best presterende zero-cost proxyene viser en Spearman Rank Correlation (ρ) på omtrent 0.8, noe som indikerer en sterk til veldig sterk korrelasjon. Imidlertid blir ingen betydelig forbedring i korrelasjon oppdaget når arkitekturene blir analysert etter å ha blitt trent i flere epoker, noe som antyder at zero-cost proxies er mest effektive ved initialiseringen av det nevrale nettverket. Forsøk på å kombinere zero-cost proxier ved hjelp av stemmegiving og vektet aritmetisk gjennomsnitt viser potensial, men gir ikke noen betydelig forbedring sammenlignet med å bruke zero-cost proxies individuelt. | |
dc.description.abstract | Neural Architecture Search (NAS) and Graph Convolutional Networks (GCNs) are two fields within machine learning that have undergone major development in recent years. Finding a GCN architecture which yields optimal results can be time-consuming and resource-intensive. Zero-cost proxies, which are designed only to require a single minibatch of training data to score a neural network, have been introduced to make this process more efficient. The core focus of this thesis is to investigate the application and performance of zero-cost proxies for evaluating GCNs within the context of Human Action Recognition (HAR) tasks as a first step towards using them in a NAS algorithm. Furthermore, given the need for further research, the study aims to bridge this gap by evaluating different zero-cost proxies on GCN architectures. To the best of our knowledge, the study is the first to explore how zero-cost proxies perform on GCNs.
Through a series of analyses and experiments, the study demonstrates that integrating zero-cost proxies can significantly enhance the efficiency of NAS algorithms. The results reveal that the top-performing zero-cost proxies display a Spearman Rank Correlation (ρ) of approximately 0.8, indicating a strong to very strong correlation. However, no substantial improvement in correlation is detected when analysing architectures as they are trained for several epochs, implying that the zero-cost proxies might be most efficient at the initialisation of the neural network. Attempts to combine zero-cost proxies through vote and weighted arithmetic mean are showing promise, but they are not resulting in significant improvement compared to the individual application of each zero-cost proxy. | |
dc.language | eng | |
dc.publisher | NTNU | |
dc.title | Exploring the Efficiency of Zero-Cost Proxies in NAS for Human Action Recognition | |
dc.type | Master thesis | |