The importance of disentanglement when learning representations

Abstract

I jakten på generaliserbare, robuste maskinlæringsalgoritmer, samt økt dataeffektivitet, har fagfeltet ”disentangled representation learning” i de senere år utviklet seg i en lovende retning, og feltet har vært gjenstand for stor interesse.

Nøkkelantagelsen i sentrum for disentanglement går ut på at høydimensjonale rådata genereres fra et sett med generative faktorer, det vil si faktorer som hver for seg forklarer iboende egenskaper ved rådataene, under en antagelse om at hver faktor isolert er semantisk meningsfull og statistisk uavhengig av alle andre faktorer. For et gitt datasett er målet med disentanglement å lære lavdimensjonale datarepresentasjoner bestående av komponenter som tilsvarer de generative faktorene.

Denne masteroppgaven inneholder en grundig studie av disentanglement i representasjonslæring, og de teoretiske ideene som ligger til grunn, med fokus på forskjellige metoder introdusert innenfor feltet som forsøker å lære modeller som lykkes i disentanglement. Her er metoder som benytter både veiledet og ikke-veiledet læring inkludert. I tillegg presenteres en studie av kvalitative og kvantitative evalueringsteknikker som forsøker å fastsette graden av disentanglement oppnådd gitt en modell.

Selv om det innenfor feltet er en felles oppfatning om at datarepresentasjoner som oppfyller disentanglement vil være godt egnet til å løse nedstrøms læringsoppgaver, er det fortsatt uklart i hvilken grad en slik fordel kan knyttes til disentanglement. I denne oppgaven presenteres resultater som støtter hypotesen om at disentanglement fører til bedre prestasjon hos enkle modeller som løser nedstrøms læringsoppgaver, både overordnet og i tilfeller der lite data er tilgjengelig. Grad av nøyaktighet i løsning av læringsoppgaver vises å korrelere godt med disentanglement målt både av teknikker som krever kjennskap til de generative faktorene og deres verdier, samt av teknikker som ikke gjør antakelser om de underliggende generative faktorene.

The field of disentangled representations has been suggested a promising avenue in search of robust and generalisable machine learning algorithms and increased data efficiency. It has in recent years received a lot of interest.

The key assumption leveraged by disentangling methods is that raw data is generated by a set of factors of variation, referred to as generative or explanatory factors. Such factors are considered to correspond to inherent properties of the data, each factor encoding a unit of information present in the data that is both semantically meaningful and statistically independent of all other factors. Disentangling techniques should attempt to capture and disentangle as many factors as possible describing the data distribution in a compact, low dimensional space.

This thesis provides a thorough review of disentangled representation learning and its theoretical foundation, looking at various methods presented in the field that aim to learn disentangled representations, covering both unsupervised and supervised approaches. Also reviewed are evaluation techniques introduced as to reliably determine the level of disentanglement achieved by the methods, briefly discussing some qualitative approaches, and then looking in-depth at the quantitative disentanglement metrics most prevalent in the literature.

It is commonly perceived that disentangled representations would provide an advantage in learning models to solve downstream tasks. It is however not yet clear to what extent enforcing disentanglement results in representations that exhibit such an advantage. This thesis presents results that support the hypothesis that increased disentanglement results in improved downstream model accuracy. Both overall performance as well as limited sample performance of simple downstream tasks are shown to correlate well with disentanglement as measured by both unsupervised and supervised disentanglement metrics.