Market-based Autonomous Application and Resource Management in the Cloud

Version soumise à la revue internationale JPDCOrganizations owning High Performance Computing (HPC) infrastructures are facing difficulties in managing their resources. These difficulties come from the need to provide concurrent resource access to applications with different resource requirements while considering that users are selfish and might have different performance objectives, or Service Level Objectives (SLOs), when executing them. To address these challenges, this paper proposes Merkat, a market-based SLO-driven cloud platform. Merkat relies on a market-based model to allocate resources to ap- plications while taking advantage of virtualization technologies and on-demand provisioning to maximize resource utilization. Merkat’s resource market uses a combination of currency distribu- tion and dynamic resource pricing to ensure proper resource distribution while decentralizing the resource control. In Merkat autonomous controllers apply adaptation policies to scale the appli- cation’s resource demand according to user’s SLO. The adaptation policies can: (i) dynamically tune the amount of CPU and memory provisioned for the virtual machines in contention periods; (ii) dynamically change the number of virtual machines. We evaluated this proposed platform in simulation and on the Grid’5000 testbed. Results show that: (i) Merkat provides flexible suport for different application types and different SLOs; (ii) it increases the resource utilization of the infras- tructure; (iii) and is capable of providing good user satisfaction compared to existing centralized systems.Résumé : Les organisations qui possèdent des infrastructures de calcul à haute performance (HPC) font souvent face à certaines difficultés dans la ges- tion de leurs ressources. En particulier, ces difficultés peuvent provenir du fait que des applications de différents types doivent pouvoir accéder concurrem- ment aux ressources tandis que les utilisateurs peuvent avoir des objectifs de performance (SLOs) variés. Pour résoudre ces difficultés, cet article propose un cadre générique et extensible pour la gestion autonome des applications et l’allocation dynamique des ressources. L’allocation des ressources et l’exécution des applications sont régies par une économie de marché respectant au mieux des objectifs de niveau de service (SLO) tout en tirant parti de la flexibil- ité d’un nuage informatiqueé et en maximisant l’utilisation des ressources. Le marché fixe dynamiquement un prix aux ressources, ce qui, combiné avec une politique de distribution de monnaie entre les utilisateurs, en garantit une utili- sation équitable. Simultanément, des contrôleurs autonomes mettent en œuvre des politiques d’adaptation pour faire évoluer la demande en ressource de leur application en accord avec les objectifs (SLO) fixés par l’utilisateur. Les poli- tiques d’adaptation peuvent : (i) adapter dynamiquement leur demande en terme de CPU et de mémoire pour les machines virtuelles en période de con- tention pour l’obtention de ressources (ii) et changer dynamiquement le nombre de machines virtuelles. Nous avons évalué cette plate-forme par simulation et sur l’infrastructure Grid’5000. Nos résultats ont montré que cette solution: (i) offre un support flexible aux applications de différents types ayant des demandes variés en terme de niveau de service; (ii) augmente l’utilisation des ressources de l’infrastructure; (iii) conduit à une meilleure satisfaction des utilisateurs par rapport aux solutions centralisées existantes