Scientific workflows on many-cores

Moderne shared-memory heterogene many-core computer werden immer komplexer zu programmieren. Traditionelle Programmiermethoden für shared-memory computer sind immer noch auf symmetrische Multiprozessorsysteme ausgelegt und haben daher Probleme modernen heterogenenen Systemen optimal auszulasten. Wissenschafliche Workflow Anwendungen, welche aus dem Bereich der verteilten Systemen wie Grids und Clouds kommen, repräsentieren eine vielversprechende Alternative für die Entwicklung und Ausführung von wissenschaftlichen Anwendungen auf modernen heterogenen many-core Computern. Allerdings besitzen verteilte Systeme andere Eigenschaften als shared-memory many-core Systeme, und daher müssen neuartige Workflow Systeme für many-core computer erforscht und entwickelt werden um mit existierenden shared-memory Programmiermethoden mithalten zu können. Das Many-core Workflow Runtime Environment (MWRE), welches in dieser Arbeit vorgestellt wird, stellt so ein neuartiges Workflow System für heterogene Many-core Computer dar. MWRE ist Compiler-basiert und übersetzt eine Workflow Anwendung, welche in der XML-basierten Workflow Sprache IWIR spezifiert wurde, in eine äquivalente C++ Anwendung. Diese Anwendung führt den Workflow mithilfe einer Callback-basierten Engine aus, welche die Auflösung von Abhängigkeiten, Datentransfers und zusammengesetze Aktivitäten mithilfe von sogenannten Callback Funktionen ausführt. Auserdem ist ein zentrales Feature die Unterstützung von full-ahead Scheduling. Die experimentellen Resultate zeigen, dass MWRE eine bessere Performance als traditionelle Grid und Cloud Workflow Systeme auf Many-core Computern hat und auch kompetitiv zu traditionellen Programmiermethoden wie OpenMP ist. Des Weiteren, konnten wir in dieser Arbeit auch zeigen, dass full-ahead Scheduling und Compilertransformationen auf auf heterogenen Many-core Computern die Performance von Workflow Anwendungen verbessern kann.Modern shared-memory heterogeneous many-core computers have become increasingly complex to program. Traditional programming paradigms for shared-memory computers have their roots in symmetric multi-processing and, therefore, are struggling to fully exploit the performance of todays heterogeneous systems. The scientific workflow paradigm, originating from distributed computing infrastructures like Grids and Clouds, represents today a promising alternative for development and execution of scientific applications on shared-memory heterogeneous many-core computers. However, distributed computing architectures are inherently different from shared-memory many-core systems making it necessary to research and design a new kind of workflow system being able to compete with existing shared-memory programming paradigms. The Many-core Workflow Runtime Environment (MWRE) presented in this thesis is a scientific workflow system specifically designed to efficiently enact traditional scientific workflows on modern shared-memory heterogeneous many-core computing architectures. MWRE is compiler-based and translates workflows specified in the XML-based Interoperable Workflow Intermediate Representation (IWIR) into an equivalent C++-based program. This program efficiently enacts the workflow as a stand-alone executable by means of a new callback mechanism that resolves dependencies, transfers data, and handles composite activities. Furthermore, a core feature of MWRE is explicit support for full-ahead scheduling and enactment. Experimental results show that MWRE performs better than traditional scientific workflow systems on many-core computers and is able to compete with traditional shared-memory programming paradigms like OpenMP. Moreover, in this thesis we also demonstrate that full-ahead scheduling using state-of-the-art heuristics and compiler transformations can significantly improve the performance of scientific workflow applications on many-core computers.by Matthias JanetschekUniversity of Innsbruck, Dissertation, 2018OeBB(VLID)253072