GinFlow: Un moteur d’exécution distribué de workflows adaptifs

Workflow-based computing has become a dominant paradigm to design and execute scientific applications. After the initial breakthrough of now standard workflow management sys- tems, several approaches have recently proposed to decentralise the coordination of the execution. In particular, shared space-based coordination has been shown to provide appropriate building blocks for such a decentralised execution. Uncertainty is also still a major concern in scientific workflows. The ability to adapt the workflow, change its shape and switch for alternate scenarios on-the-fly is still missing in workflow management systems. In this paper, based on the shared space model, we firstly devise a programmatic way to specify such adaptive workflows. We use a reactive, rule-based programming model to modify the workflow description by changing its asso- ciated direct acyclic graph on-the-fly without needing to stop and restart the execution from the beginning. Secondly, we present the GinFlow middleware, a resilient decentralised workflow execu- tion manager implementing these concepts. Through a set of deployments of adaptive workflows of different characteristics, we discuss the GinFlow performance and resilience and show the limited overhead of the adaptiveness mechanism, making it a promising decentralised adaptive workflow execution manager.Les workflows sont devenus une manière dominante de mettre au point et d’exécuter des applications scientifiques. Après l’apparition des premiers gestionnaires de workflows, différentes approches ont eu pour but de decentraliser leur exécution. En particulier la coordination basée sur un espace partagé est connue comme pouvant constituer une brique intéressante en ce sens. D’autre part il n’est pas rare que l’exécution d’un workflow scientifique soit soumis à quelque incertitude. La possibilité de s’adapter et de changer de scénario d’exécution à la volée est une caractéristique manquante dans les gestionnaires de workflows.Dans ce papier, nous introduisons tout d’abord une manière programma- tique de spécifier un workflow adaptatif. Pour cela nous nous appuyons sur un espace partagé. Nous utilisons un modèle de programmation à base de règles de réécriture afin de modifier la description du workflow en changeant le graph sous-jacent. Ces modifications se font à la volée sans nécessité ni d’arrêter ni de redémarrer l’exécution du workflow. Nous présentons ensuite GinFlow, un moteur décentralisé d’exécution de workflows qui implémente ces concepts. Nous concluons enfin par une série d’expérimentations démontrant les perfor- mances, la tolérance aux pannes et l’impact limité des macanismes d’adaptation. Ces expériences nous font penser que GinFlow est un moteur prometteur pour l’exécution distribué de workflows adaptatifs