Realistic simulation of the execution of applications deployed on large distributed systems with a focus on improving file management

La simulation est un outil puissant pour étudier les systèmes distribués. Elle permet aux chercheurs d’évaluer différents scénarios de manière reproductible, ce qui est impossible à travers des expériences réelles. Cependant, les simulations reposent souvent sur des modèles simplifiés, dont le réalisme est trop rarement étudié dans la littérature. Ceci mène à une pertinence et une applicabilité discutables des résultats obtenus. Dans ce contexte, l'objectif principal de notre travail est d'améliorer le réalisme de la simulation en mettant l'accent sur le transfert de fichiers dans un système distribué à large échelle, tel que l’infrastructure de production EGI. Le réalisme de la simulation est étudié ici au travers de deux aspects principaux : le simulateur et le modèle de plate-forme (l’infrastructure distribuée). Ensuite, à partir de simulations réalistes, nous proposons des recommandations fiables pour améliorer la gestion des fichiers à travers des portails scientifiques, tels que la plate-forme d'imagerie virtuelle (VIP). Afin de reproduire de manière réaliste les comportements du système réel en simulation, nous devons en obtenir une vue de l'intérieur. Par conséquent, nous recueillons et analysons un ensemble de traces d’exécutions d'une application particulière exécutée sur EGI via VIP. En plus des traces, nous identifions et examinons les composants du système réel à reproduire de manière réaliste en simulation. Il s’agit, par exemple, des algorithmes utilisés pour la sélection d’un réplica dans le système de production. Nous simulons ensuite ces composants en utilisant les mécanismes mis à disposition par SimGrid. Nous construisons, à partir des traces, un modèle de plate-forme réaliste essentiel à la simulation des transferts des fichiers. La précision de notre modèle de plate-forme est évaluée en confrontant les résultats de simulations avec la vérité terrain des transferts réels. Nous montrons que le modèle proposé surpasse largement le modèle issu de l’état de l’art pour reproduire la variabilité réelle des transferts de fichiers sur EGI. Ce modèle est ensuite enrichi pour permettre l’analyse de nouveaux scénarios, au-delà de la reproduction des traces d’exécution en production. Enfin, nous évaluons différentes stratégies de réplication de fichiers par simulation en utilisant deux modèles différents: un modèle issu de l’état de l’art amélioré et notre modèle de plate-forme construit à partir des traces. Les résultats de simulations montrent que les deux modèles conduisent à des décisions de réplication différentes, même s’ils reflètent une topologie de réseau hiérarchique similaire. Ceci montre que le réalisme du modèle de plateforme utilisé en simulation est essentiel pour produire des résultats pertinents et applicables aux systèmes réels.Simulation is a powerful tool to study distributed systems. It allows researchers to evaluate different scenarios in a reproducible manner, which is hardly possible in real experiments. However, the realism of simulations is rarely investigated in the literature, leading to a questionable accuracy of the simulated metrics. In this context, the main aim of our work is to improve the realism of simulations with a focus on file transfer in a large distributed production system (i.e., the EGI federated e-Infrastructure (EGI)). Then, based on the findings obtained from realistic simulations, we can propose reliable recommendations to improve file management in the Virtual Imaging Platform (VIP). In order to realistically reproduce certain behaviors of the real system in simulation, we need to obtain an inside view of it. Therefore, we collect and analyze a set of execution traces of one particular application executed on EGI via VIP. The realism of simulations is investigated with respect to two main aspects in this thesis: the simulator and the platform model. Based on the knowledge obtained from traces, we design and implement a simulator to provide a simulated environment as close as possible to the real execution conditions for file transfers on EGI. A complete description of a realistic platform model is also built by leveraging the information registered in traces. The accuracy of our platform model is evaluated by confronting the simulation results with the ground truth of real transfers. Our proposed model is shown to largely outperform the state-of-the-art model to reproduce the real-life variability of file transfers on EGI. Finally, we cross-evaluate different file replication strategies by simulations using an enhanced state-of-the-art model and our platform model built from traces. Simulation results highlight that the instantiation of the two models leads to different qualitative decisions of replication, even though they reflect a similar hierarchical network topology. Last but not least, we find that selecting sites hosting a large number of executed jobs to replicate files is a reliable recommendation to improve file management of VIP. In addition, adopting our proposed dynamic replication strategy can further reduce the duration of file transfers except for extreme cases (very poorly connected sites) that only our proposed platform model is able to capture