Om effektiviteten hos ß-VAE er för bildklassificeringoch klustering

Data labeling is a critical and costly process, thus accessing large amounts of labeled data is not always feasible. Transfer Learning (TL) and Semi-Supervised Learning (SSL) are two promising approaches to leverage both labeled and unlabeled samples. In this work, we first study TL methods based on unsupervised pre-training strategies with Autoencoder (AE) networks. Then, we focus on clustering in the Semi-Supervised scenario. Previous works introduced the β-VAE, an AE that learns a disentangled data representation from the unlabeled samples. We conduct an initial study of un- supervised pre-training with AEs to assess its impact on image classification tasks. We also design a new training method for the β-VAE based on cyclical annealing. The results show that annealing β during pre-training favours the learning of the target task. However, the best results on the target classification problem are obtained with a ResNet architecture with random initialization, trained only on labeled samples. Empirical evidence suggests that a deep network designed to learn complex patterns can achieve better results than a simpler pre-trained one. It is known that the quality of the data representation also affects the clustering algorithms. Deep Clustering leverages the strengths of Deep Learning to find the representation that better supports clustering. Hence, we introduce the β- VAE with cyclical annealing in the training process of several methods based on Deep Clustering. With respect to a Denoising Autoencoder (DAE), the β-VAE with annealing increases the Clustering Accuracy of the Deep Embedded Clustering (DEC) algorithm of 1% in the unsupervised scenario for the CIFAR-10 dataset. A new learning approach is also designed for clustering in the Semi-Supervised setting. We add an auxiliary supervised fine-tuning phase on the labeled samples. If 20% of the available examples are labeled, and the auxiliary task is executed, the Clustering Accuracy improves of 3.5% when the DAE is replaced by the β-VAE on the Fashion-MNIST dataset. Experiments also show improvements over previous works in the literature.Datamärkning är en kritisk och kostsam process, vilket försvårar möjligheten att komma åt stora mängder av märkt data. Transfer Learning (TL) och Semi-Supervised Learning (SSL) är två lovande metoder för att utnyttja prover som är både märkta och omärkta. I det här arbetet kommer vi först att studera TL metoder baserade på oövervakade förutbildningsstrategier med Autoencoder (AE) nätverk. Vi kommer sedan att fokusera på att samla ihop det semi- övervakade scenariot. Tidigare arbete har introducerat β-VAE, en AE som lär sig en odelad datarepresentation från de omärkta proverna. Vi genomför en första studie av oövervakad förutbildning med AE för att utvärdera dess påverkan på bildklassificeringsuppgifter. Vi designar även en ny träningsmetod för β-VAE baserat på cyklisk glödgning. Resultatet visar på att glödgning β under förutbildning främjar inlärning av måluppgiften. De bästa resultaten på målklassificerings- problemet erhålls emellertid med ResNet-arkitektur med slumpmässig initialisering, endast utbildad på märkta prover. Empiriska bevis föreslår att ett djupt nätverk designat för att lära sig komplexa mönster kan erhålla bättre resultat än en enklare förutbildad. Det är känt att kvaliteten på datarepresentationen också påverkar klusteralgoritmerna. Deep Clustering utnyttjar styrkorna på Deep Learning för att hitta den representation som bättre stöder klustring. Därför introducerar vi β-VAE med cyklisk glödgning i träningsprocessen för flera metoder baserade på Deep Clustering. Med avseende på Denoising Autoencoder (DAE), ökar β-VAE med glödgning klusternoggrannheten av Deep Embedded Clustering (DEC) algoritmen på 1% i det oövervakade scenariot för CIFAR-10 datasetet. Ett nytt inlärningssätt är också utformat för att klustra i den semi-övervakade inställningen. Vi lägger till en extra övervakad finjusteringsfas på de märkta proverna. Om 20% på de tillgängliga proverna är märkta och hjälpuppgiften utförs förbättras klusternoggrannheten med 3.5% när DAE ersätts av β-VAE på data- setet Fashion-MNIST. Experimentet visar också på förbättringar jämfört med tidigare verk i litteraturen