Flow-level network models: have we reached the limits?

Researchers in the area of distributed computing conduct many of their experiments in simulation. While packet-level simulation is often used to study network protocols, it can be too costly to simulate network communications for large-scale systems and applications. The alternative is to simulate the network based on less costly flow-level models. Surprisingly, in the literature, validation of these flow-level models is at best a mere verification for a few simple cases. Consequently, although distributed computing simulators are widely used, their ability to produce scientifically meaningful results is in doubt. In this work we focus on the validation of state-of-the-art flow-level network models of TCP communication, via comparison to packet-level simulation. While it is straightforward to show cases in which previously proposed models lead to good results, instead we systematically seek cases that lead to invalid results. Careful analysis of these cases reveal fundamental flaws and also suggest improvements. One contribution of this work is that these improvements lead to a new model that, while far from being perfect, improves upon all previously proposed models. A more important contribution, perhaps, is provided by the pitfalls and unexpected behaviors encountered in this work, leading to a number of enlightening lessons. In particular, this work shows that model validation cannot be achieved solely by exhibiting (possibly many) ''good cases.'' Confidence in the quality of a model can only be strengthened through an invalidation approach that attempts o prove the model wrong.Dans le domaine du calcul distribué, les chercheurs réalisent un grand nombre de leurs expériences à l'aide de simulations. Si les simulations de niveau paquet ont été intensément utilisées pour étudier des protocoles réseaux, elles sont en général trop coûteuses pour simuler les communications de systèmes et d'applications distribués à grande échelle. Une alternative classique consiste à simuler le réseau à l'aide de modèles fluides moins coûteux. Curieusement, dans la littérature, la validation de ces modèles se réduit en général au mieux à une simple vérification sur quelques cas simples. Par conséquent, bien que ces simulateurs de systèmes de calcul distribué soient largement utilisés, leur capacité à produire des résultats pertinents sur le plan scientifique est douteuse. Dans cet article, nous nous intéressons à la validation de modèles fluides de TCP reconnus dans la littérature en les comparant à des simulations de niveau paquet. Puisqu'il est aisé de montrer des cas dans lesquels ces modèles produisent de bons résultats, nous nous intéressons systématiquement à la recherche de cas invalidant ces modèles, une analyse méticuleuse de ces situations révélant les failles profondes de ces modèles et suggérant parfois des améliorations possibles. Une des contributions de cette étude est que ces améliorations nous ont amené à la proposition d'un modèle qui, bien qu'imparfait, produit des résultats de meilleur qualité que les modèles ayant été précédemment proposés. Une contribution probablement plus importante réside dans la mise en lumière des difficultés auxquelles nous nous sommes heurtés et qui ont conduit à un certain nombre de leçons. En particulier, ce travail montre que la validation d'un modèle ne s'effectue pas en exhibant des situations (même en nombre) où tout se passe bien. La confiance en la qualité d'un modèle ne peut être renforcée qu'en accumulant les tentatives infructueuses d'invalidation