Vom Sensor zum Forschungsdatensatz: Automatisierte Datenflüsse am UFZ

Hintergrund: Am Helmholtz-Zentrum für Umweltforschung - UFZ arbeiten Forschende an Fragestellungen, die sich u.a. mit den aktuellen Veränderungen des Klimas und dessen Auswirkungen auf die Landnutzung beschäftigen. Dazu werden an verschiedenen Orten eine Vielzahl unterschiedlichster Umweltparameter mit Sensoren erfasst. Diese Daten werden kontinuierlich erhoben, um die Veränderungen möglichst in Echtzeit zu beobachten (Monitoring). Teilweise kommen pro Beobachtungsort mehrere Hunderte solcher Sensoren zum Einsatz. Die dafür eingesetzten Sensoren erfassen z.B. Bodenfeuchte, Niederschlagsmenge, Strahlungen und andere abiotische Kenngrößen. Damit die Daten (nach)nutzbar sind, müssen sie so aufbereitet und beschrieben werden, dass sie für nachfolgende Prozesse maschinen-lesbar bearbeitet werden können und in einer Form vorliegen, die eine Veröffentlichung nach den FAIR-Prinzipien ermöglicht. Herausforderung: Die erhobenen Messdaten müssen nicht nur gesichert werden, sondern auch auf Plausibilität geprüft, prozessiert und mit hinreichender Detailtiefe beschrieben werden, damit sie nachfolgend den Forschenden für die Beantwortung ihrer Forschungsfragen als Grundlage zur Verfügung stehen. Eine Herausforderung dabei ist, dass die Daten kontinuierlich als Datenstrom anfallen. Folglich müssen Prozesse wie die strukturierte Ablage, die Anreicherung mit Metadaten sowie Prüfung auf Fehlmessungen (sog. Qualitätssicherung) automatisiert werden. Aufgrund der Heterogenität der Sensoren (unterschiedliche Hersteller stellen Daten in unterschiedlichen Formaten zur Verfügung) muss bei diesen Prozessen auch eine Formatumwandlung erfolgen. Darüber hinaus sind je nach Messgröße und -verfahren verschiedene Methoden zur Plausibiläts- und Qualitätsprüfung anzuwenden. Lösungsansatz: Das Research Data Management Team des UFZ hat gemeinsam mit der IT-Abteilung einen Daten-Workflow entwickelt, der die unterschiedlichen Daten automatisch zusammenführt, sichert und nach einem vordefinierten Schema mit Metadaten anreichert. Der Einsatz des Workflows wird exemplarisch anhand von aktuellen Forschungsprojekten vorgestellt und die darin enthaltenen Schritte detailliert beschrieben, wobei auch auf die technische Umsetzung eingegangen wird. Insbesondere werden die Komponenten zur Datenstrukturierung und semiautomatischen Qualitätssicherung vorgestellt, bei denen auch Methoden des Machine Mearning zum Einsatz kommen. Innerhalb des Workflows können die prozessierten Daten nach verschieden Verfahren aggregiert und weiterverarbeitet werden. Das geschieht u.a. über definierte Schnittstellen zu internen und externen Services (z.B. durch Bereitstellung als Sensor Observation Service (SOS) oder mittels einer API). Fazit: Die im Rahmen des hier vorgestellten Workflows entwickelten Prozesse und Komponenten zum automatisierten Management von Forschungsdaten bilden eine wichtige Grundlage für das Forschungsdatenmanagement am UFZ. Durch die modulare Ausgestaltung können die Komponenten an den Bedarf der Forschenden angepasst werden und sind auch für Szenarien geeignet, in denen die Messdaten nicht als Datenstrom anfallen. Mit diesem Workflow ist die Voraussetzung geschaffen, die am UFZ erhobene Daten auch als Linked Data der wissenschaftlichen Community und anderen Stakeholdern zur Verfügung zu stellen