Learning natural image statistics with variants of restricted Boltzmann machines

Diese Arbeit konzentriert sich auf die Modellierung der statistischen Strukturen von natürlichen Bildern mit einer Klasse kausaler Modelle, die Varianten von Restricted Bolzmannn Machines (RBMs) sind. Zunächst wird die A-priori-Wahrscheinlichkeit p(Beobachtungen) mit einer gewichteten Summe von Gauß-Verteilungen durch die Varianten der RBMs modelliert. Im Anschluss werden dann die Leistungen der verschiedenen Modelle verglichen. Weiterhin haben wir synthetisch Bildausschnitte erstellt und die Statistiken mit den Statistiken natürlicher Bilder verglichen. Schließlich werden die Datenpunktstatistiken aus der A-priori-Wahrscheinlichkeit der Modelle mit der Spontanaktivität in der primären Sehrinde in Beziehung gestellt. Unsere Experimente zeigen, dass nur die auf den natürlichen Bildausschnitten trainierte Gaussian deep Boltzmann machines ähnliche Eigenschaften wie die der Spontanaktivität haben.This thesis focuses on modeling natural image statistics with variants of Restricted Boltzmann Machines (RBMs). Concretely, we consider Gaussian RBMs, covariance RBMs, mean-covariance RBMs, Gaussian deep belief networks, and Gaussian deep Boltzmann machines (DBM). We firstly show that these models construct p(observations) with a weighted sum of Gaussian distributions. Second, we compare their performances in modeling natural image statistics and show that they learn meaningful parameters from natural images. Furthermore, we compare the statistics of the synthesized images from the models with natural image statistics. None of the models fully demonstrates the properties of the natural images due to the inappropriate constraints of the heuristics. Finally, we relate the samples generated from the models to the spontaneous activity in the primary visual cortex. Only the Gaussian DBM demonstrates similar properties as the spontaneous activity