Unterbestimmte inverse Probleme lösen: Von fortgeschrittenen Sparsity-Modellen zu tiefem Lernen

This cumulative dissertation investigates and designs methods for the reconstruction of unknown signals from severely underdetermined linear measurements. Such inverse problems arise in a wide range of applications, reaching from biomedical imaging modalities like computed tomography to seismic inversion in geophysics. Although addressing similar recovery tasks, the thesis is divided into two parts: The first one is concerned with advancing the theory of model-based recovery methods in light of advanced sparsity notions. The methodology of compressed sensing has demonstrated that an unknown signal can be robustly recovered from few indirect and randomized measurements by exploiting its inherent structure. A popular choice to accomplish this task is to solve a convex optimization problem, based on sparsity-promoting l1-minimization. However, since real-world signals are usually not sparse themselves, a linear transformation is required in order to obtain a suitable low-complexity representation. Such an assumption leads to a synthesis- and an analysis-based sparsity model. For both notions, we derive novel sampling rates for l1-regularization under the assumption of sub-Gaussian random measurements. Furthermore, we break a complexity-bottleneck for the important special case of total variation minimization in one spatial dimension. Our findings defy the conventional wisdom, which promotes a uniform description of the sample complexity in terms of sparsity. Indeed, a common contribution of the present thesis is that sparsity alone does typically not characterize the success of signal recovery beyond orthonormal bases. Instead, we obtain more accurate predictions for the required number of measurements by taking other structural and signal-dependent properties into account. The second part of the thesis explores the potential of deep-learning-based reconstruction methods in numerical simulation studies. Such schemes do not rely on an explicit formulation of a data model as in the first part, but infer structured solutions from the knowlegde of available training data. Despite their unprecedented empirical performance, to date, the operating principles of artificial neural networks are poorly understood from a mathematical perspective. The contributions to this area of research are twofold: First, we analyze the robustness of learned end-to-end methods in an extensive numerical study. This effort is motivated by the fact that neural networks for classification are known to be susceptible to adversarial attacks. Contrary to previous claims in the literature, we demonstrate that this flaw does not necessarily carry over to deep-learning-based solution methods for inverse problems. Indeed, we show that standard architectures are remarkably robust against statistical and adversarial noise. Secondly, we develop a hybrid reconstruction method for the severely ill-posed inverse problem of limited angle computed tomography. The effect of the particular subsampling structure on the measurements is well described by classical visibility results based on microlocal analysis. The proposed algorithm builds upon this mathematical characterization by recovering the visible part of the data via sparse regularization relying on a directional representation system. Only the information that is inaccessible to such a strategy is inferred by means of a deep neural network.Die vorliegende kumulative Dissertation entwickelt und untersucht Methoden zur Rekonstruktion unbekannter Signale anhand von stark unterbestimmten linearen Messungen. Derartige inverse Probleme treten in einer Vielzahl von Anwendungen auf, die von medizinischen Bildgebungsverfahren wie der Computertomographie bis hin zur seismischen Inversion in der Geophysik reichen. Obwohl eine einheitliche Rekonstruktionsaufgabe zugrunde liegt, gliedert sich die Arbeit in zwei verschiedene Themenbereiche: Der erste Teil entwickelt die Theorie der modellbasierten Methoden weiter, welche auf verallgemeinerten Sparsity-Annahmen basieren. Die Forschung zu Compressed Sensing hat gezeigt, dass ein Signal bereits aus wenigen indirekten und randomisierten Messungen in robuster Weise wiederhergestellt werden kann, wobei dessen inhärente Struktur ausgenutzt wird. Diese Aufgabe lässt sich häufig durch die Lösung eines konvexen Optimierungsproblems bewältigen, welches auf der Sparsity-kompatiblen l1-Minimierung basiert. Da realistische Signale jedoch in der Regel nicht unmittelbar Sparse sind, ist oftmals eine lineare Transformation erforderlich, um eine geeignete Darstellung mit geringer Komplexität zu erhalten. Eine solche Annahme führt dann zu einem Synthese- oder zu einem Analyse-basierten Sparsity-Modell. Unter der Annahme sub-Gaußscher Zufallsmessungen werden in beiden Fällen neuartige Messraten für l1-Regularisierung hergeleitet. Ein weiterer Beitrag besteht darin, eine Komplexitätsbarriere im wichtigen Spezialfall der totalen Variation in einer räumlichen Dimension zu durchbrechen. Unsere Ergebnisse widersprechen der konventionellen Vorstellung, wonach die Probenkomplexität ausschließlich durch die Sparsity beschrieben wird. Eine Haupterkenntnis dieser Arbeit ist, dass ein Rekonstruktionserfolg jenseits von Orthonormalbasen typischerweise nicht alleine durch Sparsity charakterisiert werden kann. Durch Berücksichtigung anderer, struktureller und signalabhängiger Eigenschaften, können genauere Vorhersagen für die erforderliche Anzahl von Messungen hergeleitet werden. Im zweiten Teil der Arbeit werden Deep-Learning-basierte Rekonstruktionsverfahren in numerischen Simulationsstudien untersucht. Im Gegensatz zum ersten Teil basieren solche Verfahren nicht darauf, ein explizites Datenmodell zu formulieren. Stattdessen werden strukturierte Lösungen anhand der Kenntnis von a priori verfügbaren Trainingsdaten berechnet. Trotz beispielloser empirischer Erfolge sind die mathematischen Funktionsprinzipien künstlicher neuronaler Netze nur unzureichend verstanden. In dieser Arbeit werden zwei Beiträge zu diesem Forschungsgebiet erbracht: Zunächst wird in einer umfangreichen numerischen Studie die Robustheit von gelernten End-to-End-Methoden analysiert. Diese Untersuchung ist dadurch motiviert, dass Klassifikationsnetzwerke bekanntermaßen anfällig für Störungen sind. Entgegen bisheriger Behauptungen in der Literatur wird gezeigt, dass sich dieses Problem nicht zwangsläufig auf Deep-Learning-basierte Lösungsverfahren für inverse Probleme überträgt. Es wird aufgezeigt, dass Standard-Rekonstruktionsnetzwerke bemerkenswert robust gegenüber statistischem und schlimmstmöglichem Rauschen sind. Ein zweiter Beitrag ist die Entwicklung einer hybriden Rekonstruktionsmethode für das schlecht gestellte inverse Problem der Limited-Angle Computertomographie. Die Auswirkungen der besonderen Struktur dieses inversen Problems werden durch klassische Sichtbarkeitsergebnisse beschrieben, welche auf mikrolokaler Analysis basieren. Der vorgeschlagene Algorithmus baut auf dieser mathematischen Charakterisierung auf, indem er zunächst den sichtbaren Teil der Daten durch eine Regularisierung mit einem anisotropen Repräsentationssystem zurückgewinnt. Nur die Informationen, die für diese Methode beweisbar unzugänglich sind, werden daraufhin mittels eines tiefen neuronalen Netzes geschätzt