Automatisierung des Aufbaus flexibler Infrastrukturen analytischer Systeme in Cloud-Umgebungen

Die in den Unternehmen vorkommenden Anwendungsfälle von Datenauswertungen weisen eine große Vielfalt auf. Als Konsequenz wachsen kontinuierlich die Anzahl und die Funktionsvariabilität von Softwaresystemen, die diese Aufgaben unterstützen. Der gemeinsame Einsatz dieser Softwareteile führt zu komplexen und verschiedenartigen Architekturen, deren Realisierung einen immensen Aufwand erfordert. Außer klassischen Data-Warehouse-Systemen (DWH) finden sich seit einiger Zeit auch Big-Data-Anwendungen in der analysebezogenen IT-Landschaft von Unternehmen. Die Vielfalt und Komplexität dieser Architekturen behindert, verlangsamt und verteuert die Erprobung neuer und innovativer Zusammensetzungen aus analystischen Systemen im Rahmen von Proof-of-Concept-Studien. Im Rahmen dieser Arbeit ist es trotz des breiten Spektrums an Architekturvarianten analytischer Systeme gelungen, mit Hilfe des Infrastructure-as-Code (IaC)-Ansatzes ein gesamtheitliches Konzept für die Aufbauautomatisierung in mehreren Cloud-Umgebungen zu entwicklen und seine Realisierbarkeit anhand eines Prototyps nachzuweisen. Sowohl die klassischen DWH als auch die unterschiedlichen Arten von Big-Data-Anwendungen lassen sich zu einer sie umfassenden mehrschichtigen Referenzarchitektur vereinen. Die Hauptbestandteile dieser Architektur sind ein Data Lake für die Rohdaten, SQL- und NoSQL-DBMS, ETL-Werkzeuge, Big-Data-Processing-Engines sowie Datenanalyse- und Visualisierungswerkzeuge.Die in den Unternehmen vorkommenden Anwendungsfälle von Datenauswertungen weisen eine große Vielfalt auf. Als Konsequenz wachsen kontinuierlich die Anzahl und die Funktionsvariabilität von Softwaresystemen, die diese Aufgaben unterstützen. Der gemeinsame Einsatz dieser Softwareteile führt zu komplexen und verschiedenartigen Architekturen, deren Realisierung einen immensen Aufwand erfordert. Außer klassischen Data-Warehouse-Systemen (DWH) finden sich seit einiger Zeit auch Big-Data-Anwendungen in der analysebezogenen IT-Landschaft von Unternehmen. Die Vielfalt und Komplexität dieser Architekturen behindert, verlangsamt und verteuert die Erprobung neuer und innovativer Zusammensetzungen aus analystischen Systemen im Rahmen von Proof-of-Concept-Studien. Im Rahmen dieser Arbeit ist es trotz des breiten Spektrums an Architekturvarianten analytischer Systeme gelungen, mit Hilfe des Infrastructure-as-Code (IaC)-Ansatzes ein gesamtheitliches Konzept für die Aufbauautomatisierung in mehreren Cloud-Umgebungen zu entwicklen und seine Realisierbarkeit anhand eines Prototyps nachzuweisen. Sowohl die klassischen DWH als auch die unterschiedlichen Arten von Big-Data-Anwendungen lassen sich zu einer sie umfassenden mehrschichtigen Referenzarchitektur vereinen. Die Hauptbestandteile dieser Architektur sind ein Data Lake für die Rohdaten, SQL- und NoSQL-DBMS, ETL-Werkzeuge, Big-Data-Processing-Engines sowie Datenanalyse- und Visualisierungswerkzeuge