ASSIST: Accuracy-driven Sampling Strategies for Improved Supervised Training

Abstract

Hvordan vi bruker treningstid har blitt viktigere med nevrale nettverkets stadig mer komplekse arkitekturer. Nyere forskning presenterer strategiske datautvelgingsmetoder som et alternativ til mini-batch SGD, som forenkler opplæring ved å neglisjere uviktige data med liten eller ingen effekt på treningsresultatet. Disse metodene er komplekse og er avhengige av ekstra databehandling.

Vi presenterer en ny filtreringsmekanisme for å utføre strategiske datautvalg i bildeklassifiseringsproblemer utelukkende basert på den boolske verdien for korrekt klassifisering og vurderer ytelse sammenlignet med de facto-standarden mini-batch SGD. Vi sammenligner de to på tvers av nøyaktighet, gjennomsnittlig tap (mean loss), tap i verste fall (worst loss), kvantitetstap (quantile loss), og sist men ikke minst ordinær veggklokke-tid.

Vi bruker store strukturerte eksperimenter for å evaluere ytelse over et stort sett med hyperparameterkombinasjoner og oppdager at vår filtreringsmetode ikke oppnår trender sett i andres arbeider som omhandler strategisk datautvalg. I stedet finner vi at vår strategiske datautvelger har sine egne fordeler, og viser en tendens til å oppnå lignende tap mellom trening- og testdatasett, noe som indikerer en generaliserende atferd.

How we spend training time has become more important with neural network's evermore complex architectures. Recent research presents strategic data sampling methods as an alternative to mini-batch SGD, alleviating training of unimportant samples with little to no effect on training outcome. These methods are complex and rely on extra data processing.

We present a novel filtering mechanism to do strategic data sampling in image classification problems based solely on the boolean metric of sample classification accuracy and consider how it performs compared to the de facto standard of mini-batch SGD. We compare the two in terms of accuracy, mean loss, worst-case loss, quantile losses, and wall-clock time.

We employ large-scale structured experiments to evaluate performance across a large set of hyper-parameter combinations and find that our filtering approach fails to achieve trends seen in other strategic sampling mechanisms. Instead, we find our strategic sampler variant has its own merits, showing a tendency to reach similar losses between training and test datasets, indicating a generalising behaviour.