Disentangled Representations in Variational Autoencoders

Abstract

Dype generative modeller omfatter modeller som kombinerer ideer fra sannsynlighetsteori med fleksible dype nevrale nettverk som skalerer til høy-dimensjonale data. Å lære generative modeller som fanger en representasjon store datamengder som vi kan tolke, er fortsatt en stor utfordring i maskinlæring. I denne oppgaven presenterer Variational Autoencoders (VAE) og dens anvendelse til å lære en oppdelt representasjon. Vi tar utgangspunkt i et probabilistisk perspektiv, sett i sammenheng med en latent variabel modell og tilnærmet Bayesisk inferens. Oppgaven inneholder en grundig innføring i Variational Autoencoders.

Videre vurderer vi fire spesifikke metoder som å ønsker en tolkbar struktur i den latente variabelen i VAE. Slike modeller å finne de underliggende faktorene som genererer dataene. Vi begrenser omfanget vårt til ikke-veiledet metoder. Metodene, beta-VAE, FactorVAE, beta-TCVAE, og DIP-VAE, presenteres grundig med vekt på deres relative styrker og svakheter. Videre diskuterer vi utfordringene med å evaluere oppdeling og vurderer tre veiledet metrikker som bruker den underliggende sannheten.

En vanlig oppfatning er at ikke-veiledet læring av oppdelte representassjoner kan generalisere på tvers av domener, og representasjonen er nyttig for videre inferans. Ved å bruke en rekke enkle eksperimenter, stiller vi kristike spørsmål til allment aksepterte antagelser. Resultatene våre indikerer at modellene vi ser på ikke er tilstrekkelig pålitelig til å lære oppdelte representasjoner på en ikke-veiledet måte. Vi observerer en mangelfull robusthet overfor hyperparametre, tilfeldige seeds og domeneskifte. Vi observerer også en utilstrekkelig evne til å bruke ikke-veiledet metrikker, noe vi hevder er en nødvendig betingelse for å anvende slike modeller i praktiske applikasjoner. Avslutningsvis oppsummerer vi oppgaven og peker på mulige retninger for fremtidig forskning.

Deep generative models encompass models that combine a probabilistic framework with flexible deep neural networks that scale to high-dimensional data. Learning generative models that capture an interpretable representation of the vast amount of data remains a major challenge in machine learning. In this thesis, we investigate Variational Autoencoders (VAE), and their application to disentangled representation learning. We approach this model from a probabilistic perspective, viewed in the context of a latent variable model and approximate Bayesian inference. The thesis contains a clear and self-contained exposition of Variational Autoencoders.

Further, we consider four specific methods that aim to impose an interpretable structure in the latent variable in VAE. Such models aim to recover and disentangle the generative factors of variation in the data. We limit our scope to unsupervised methods. The methods, beta-VAE, FactorVAE, beta-TCVAE, and DIP-VAE, are thoroughly presented, highlighting their relative strengths and weaknesses. Moreover, we discuss the challenges of evaluating disentanglement and consider three supervised metrics which use the ground truth.

A common belief in unsupervised disentangled representation learning is the methods that can generalize across domains, and the representation is useful for downstream inference tasks. Using a variety of simple experimental setups, we take a sober and critical view of commonly accepted assumptions. Our results indicate that the considered models cannot be used to reliably learn disentangled representations in an unsupervised manner as we observe a lack of robustness to hyperparameters, random seeds, and domain shift. We also observe an insufficient ability to use unsupervised evaluation metrics, which we argue is a necessary condition for such models on real-world applications. Finally, we summarize the thesis and discuss directions for future research.