Execution Environment for On-demand Computing Services Based on Shared Clusters

Cette thèse étudie la gestion de ressources pour des services de calcul intensif à la demande sur une grappe de calcul partagée. Dans un tel contexte, il s'agissait de définir des outils d'exploitation qui permettent d'allouer dynamiquement les ressources pour l'exécution des requêtes à la demande, de partager équitablement les ressources entre les différents services, tout en maximisant leur utilisation. Financé par le pôle de compétitivité Minalogic dans le cadre du projet Ciloe (http://ciloe.minalogic.net), ce travail s'adresse à des organisations de types PME ou PMI, où les budgets de fonctionnement ne permettent pas de supporter les charges d'une infrastructure de calcul dédiée. Dans un premier temps, nous avons dressé un état de l'art sur la gestion de ressources dans les domaines de nuage de calcul et de calcul intensif. Puis, tirant partie de cette étude, nous avons défini une architecture virtualisée pour faciliter l'exécution dynamique des requêtes grâce à un gestionnaire de ressources spécifique. Nous avons enfin proposé une stratégie de partage et d'allocation de ressources flexible qui offre un compromis entre équité et utilisation efficace de ressources. Ayant travaillé dans un contexte de collaboration avec des industriels, nous avons développé un prototype comme une preuve de concept. Basé sur des standards ouverts, ce prototype s'appuie sur des outils existants de virtualisation tel que OpenNebula pour allouer et manipuler les machines virtuelles sur les noeuds de la grappe. A partir de ce prototype et diverses charges de travail qui sont détaillés dans cette thèse, nous avons mené des expériences pour évaluer l'architecture et les algorithmes de gestion de ressources. Les résultats montrent que ces différentes contributions satisfont les objectifs fixés tout en étant performantes et efficaces.This thesis studies resource management for on-demand computing services through a shared cluster. In such a context, the aim was to propose tools to enable allocating resources automatically for executing on-demand user requests, to enable sharing resources proportionally among those services, while maximizing their use. Funded by the Minalogic global business cluster through the Ciloe Project (http://ciloe.minalogic.net), this work targets on organizations such as SMB, which are not able to support the charge of purchasing and maintaining a dedicated computing infrastructure. Firstly, we have achieved a deep survey in the areas of on-demand computing and high performance computing. From this survey, we have defined a virtualized architecture to enable dynamic execution of user requests thanks to a special resource manager. Finally, we have proposed policies and algorithms which are so flexible to offer a suitable tradeoff between equity and resource use. Having worked in a context of industrial collaboration, we have developed a prototype of our proposal as a proof of concept. Based on open standards, this prototype relies on existing virtualization tools such as OpenNebula for allocating and manipulating virtual machines over the cluster's nodes. From this prototype along with various workloads, we have carried out experiments to evaluate our architecture and scheduling algorithms. Results have shown that our contributions allow to achieve the expected goals while being reliable and efficient