Scalable Multi-Purpose Network Representation for Large Scale Distributed System Simulation

International audienceConducting experiments in large-scale distributed systems is usually time-consuming and labor-intensive. Uncontrolled external load variation prevents to reproduce experiments and such systems are often not available to the purpose of research experiments, e.g., production or yet to deploy systems. Hence, many researchers in the area of distributed computing rely on simulation to perform their studies. However, the simulation of large-scale computing systems raises several scalability issues, in terms of speed and memory. Indeed, such systems now comprise millions of hosts interconnected through a complex network and run billions of processes. Hence, most simulators trade accuracy for speed and rely on very simple and easy to implement models. However, the assumptions underlying these models are often questionable, especially when it comes to network modeling. In this paper, we show that, despite a widespread belief in the community, achieving high scalability does not necessarily require to resort to overly simple models and ignore important phenomena. We show that relying on a modular and hierarchical platform representation, while taking advantage of regularity when possible, allows us to model systems such as data and computing centers, peer-to-peer networks, grids, or clouds in a scalable way. This approach has been integrated into the open-source SimGrid simulation toolkit. We show that our solution allows us to model such systems much more accurately than other state-of-the-art simulators without trading for simulation speed. SimGrid is even sometimes orders of magnitude faster.La réalisation d'expériences pour l'étude de systèmes de calcul distribués à grande échelle est généralement délicate et très consommatrice de temps. Les variations non contrôlées de la charge externe empêchent de reproduire les expériences et de tels systèmes (par exemple dans le cas de plates-formes de production ou bien de systèmes en cours de conception) ne sont généralement pas disponibles pour la conduite d'expériences à des fins de recherche en informatique. C'est pourquoi de nombreux chercheurs dans le domaine du calcul distribué basent leurs études sur des simulations. Cependant, la simulation d'un système de calcul distribué à grande échelle soulève à son tour de nombreuses difficultés, notamment en terme de vitesse et d'espace mémoire. En effet, de tels systèmes sont couramment constitués de millions d'hôtes interconnectés par un réseau complexe et sur lesquels s'exécutent des milliards de processus. La plupart des simulations troquent de la précision pour de la vitesse et se reposent sur des modèles simplistes et qui peuvent être mis en oeuvre très efficacement. Néanmoins les hypothèses sous-jacentes à ces modèles sont souvent très discutables, en particulier en ce qui concerne la modélisation du réseau. Dans ce rapport, nous coupons court à l'idée largement répandue dans notre communauté selon laquelle le passage à l'échelle des simulation se ferait nécessairement en ayant recours à des modèles extrêmement simplistes et en ignorant des phénomènes potentiellement importants. Nous montrons qu'en utilisant une représentation modulaire et hiérarchique de la plate-forme tout en tirant parti de ses régularités quand elles sont présentes, il est possible de simuler efficacement tout aussi bien des systèmes tels que des centres de calculs ou de données que des réseaux pair-à-pair, des grilles ou des clouds. Cette approche a été intégrée à l'outil de simulation open-source SimGrid. Nous montrons que notre solution nous permet de modéliser de tels systèmes bien plus précisément que les autres simulateurs du domaine sans perdre en vitesse de simulation. SimGrid est même dans certaines simulations plusieurs ordres de grandeur plus rapide