Oövervakat lärande av användbara och tolkbara representationer från bilddata

This master thesis tackles the problem of unsupervised learning of useful and interpretable representations from image data using deep Convolutional Neural Networks (CNN). Recent years have seen remarkable success from using deep learning technologies to tackle computer vision problems. This success is in part attributable to the availability of large, manually-annotated datasets; however, most image data is unlabelled and unstructured. It would therefore be beneficial to reduce the dependency on labelled datasets by training networks in an unsupervised manner. Ideally, we would like the extracted representations from such networks to be useful for a range of downstream machine learning tasks. Furthermore, we would like the learned representations to be interpretable in that the individual dimensions of the representation disentangle the true factors of variation in our image dataset. We trained state-of-the-art disentangled representation learning algorithms on synthetic and realworld datasets. We found that we could learn disentangled representations consisting of features with a one-to-one correspondence with known, groundtruth factors of variation in a synthetic dataset. Identification of disentangled models requires supervision in the form of labels or human evaluation. On a real-world dataset with unknown factors of variation we were able to learn highly informative representations using various unsupervised learning algorithms, some of which were especially robust to hyperparameter settings and random seeds. Identifying disentangled models required extensive human effort, and it was difficult to interpret the learned representations. Our results therefore suggest two main directions for future work: developing methods to identify disentangled models using minimal supervision, and developing novel methods for learning interpretable representations from real-world datasets.Detta examensarbete behandlar problemet med oövervakat lärande av användbara och tolkbara representationer från bilddata med hjälp av djupa konvolutionella neurala nätverk (CNN). Oftast är bilddataset omärkta och ostrukturerade; det skulle därför vara fördelaktigt att minska beroendet på märkta dataset genom att träna nätverk på ett oövervakat sätt. Vi tränade flera oövervakade inlärningsalgoritmer på tre dataset. Med ett syntetiskt dataset kunde vi lära oss tolkbara representationer där enskilda dimensioner har semantisk betydelse. Med verkliga dataset kunde vi lära oss informativa representationer med hjälp av olika oövervakade inlärningsalgoritmer, varav några var särskilt robusta till hyperparameterinställningar. Med våra resultat föreslår vi två huvudriktningar för framtida arbete: utveckling av metoder för att identifiera modeller som extraherar tolkbara representationer genom minimal övervakning och utveckling av nya metoder för att lära sig tolkbara representationer från verkliga dataset