Introducing Sparsity into the Current Landscape of Disentangled Representation Learning

In many scenarios it is natural to assume that a set of data is generated given a set of latent factors. If we consider some high-dimensional data, there might only be a few degrees of variability which are essential to the generation of such data. These degrees of variability are not always directly interpretable, but are still often highly descriptive. The desideratum of disentangled representation learning is to learn a representation which aligns with such latent factors. A representation that is disentangled will present optimal, task-agnostic properties and hence will be useful for a wide variety of downstream tasks. In this work we survey the current state of disentangled representation learning. We review recent advances within the field by discussing the definition, comparing state-of-the-art methods, and contrasting quantitative metrics. Further, we present the β-SVAE, which by modifying the prior distribution of a Variational Autoencoder successfully imposes a sparsity constraint on disentangled representation learning. The β-SVAE achieves higher sparsity than current state-of-the-art methods while remaining disentangled. Det är i många scenarier naturligt att anta att en datamängd är genererad givet en mängd med latenta faktorer. Om vi betraktar någon högdimensionell data, så kan det möjligen endast finnas ett par grader av variabilitet som är essentiella för genereringen av sådan data. Dessa grader av variabilitet är inte alltid direkt möjliga att tyda, men är allt som oftast högst deskriptiva. Målet inom separerad representationsinlärning är att hitta en representation som står i linje med sådana latenta faktorer. En representation som är separerad kommer att uppvisa optimala, uppgiftsagnostiska egenskaper och kommer därför vara användbar för en stor mångfald av nedströmsupggifter. I detta arbetet överblickar vi det nuvarande tillståndet inom separerad representationsinlärning. Vi undersöker de senaste framstegen inom området genom att diskutera definitionen, jämföra de mest aktuella metoderna och kontrastera kvantitativa mätmetoder. Utöver det så presenterar vi β-SVAE, som genom att modifiera fördelningen, som är definierad a priori i en Variational Autoencoder, introducerar en gleshetsrestriktion på den lärda representationen. Den presenterade metoden, β-SVAE, uppnår högre gleshet än de mest aktuella metoderna samtidigt som kravet på separarade representationer bibehålls