Dual Active Sampling: A batch-mode active learning method

Abstract

Nylig har CNN vist enestående suksess innen datasyn, spesielt for utfordrende bildeklassifiseringsoppgaver ved å basere seg på en universal tilnærming, mao. trene en dyp model på et massivt datasett med veiledende eksempler. Mens "unlabeled" data finnes i store mengder, er det dyrt og ofte tidkrevende å samle store mengder med "labeled" data. En måte å optimalisere dette arbeidet er å effektivt velge og sortere de mest informative dataene fra en gruppe med usorterte data (mao. aktiv læring).

Denne oppgaven foreslår en ny metode innen Batch-mode aktiv læring, Dual Active sampling (DAS), som har en sammenlignbar ytelse, eller til og med utkonkurrer eksisterende state of art tilnærminger. Sammenlignet med andre methoder er DAS betraktelig enklere i implementering og beregningsmessig kompleksitet samtidig som den har høy paralleliserbarhet. Metoden baserer seg på en enkel antakelse, hvis to dype nevrale nettverk (DNN) av sammme struktur trenes på samme datasett, men gir vesentlige forskjellig output, så burde det bestemte datapunktet bli tatt ut for ytterligere trening.

I den første delen av eksperimentet ble ytelsen til DAS sammenlignet med forskjellige state of the art metoder, hvor den utkonkurrerte alle metodene på flere datasett. Videre klarer DAS å vise en smart utvelgelsesadferd hvor den velger flere datapunkter fra de mer utfordrende klassene og færre fra de enklere klassene.

Recently, Convolutional Neural Networks (CNNs) have shown unprecedented success in the field of computer vision, especially on challenging image classification tasks by relying on a universal approach, i.e., training a deep model on a massive dataset of supervised examples. While unlabeled data are often an abundant resource, collecting a large set of labeled data, on the other hand, is very expensive and often requires considerable human efforts. One way to ease out this is to effectively select and label highly informative data from a pool of unlabeled data (i.e., active learning). \newline This thesis proposed a new method of batch-mode active learning, Dual Active Sampling(DAS), that has a comparable performance or even slightly outperforms existing state of the art approaches. Compared to other methods, DAS is considerably simpler in terms of implementation and computational complexity while being highly parallelizable. The method is based on a simple assumption, if two deep neural networks (DNNs) of the same structure and trained on the same dataset give significantly different output for a given sample, then that particular sample should be picked for additional training.

In the first part of the experiment, the performance of DAS in terms of accuracy per number of labeled training data was compared with different state of the art methods, where it slightly outperformed all of them on multiple datasets. Furthermore, DAS seems to have a smart selection behavior where it was able to select more samples from the more challenging classes and less from the easier one.