Empirical study of Amdahl’s law on multicore processors

Since several years, classical multiprocessor systems have evolved to multicores, which tightly integrate multiple CPU cores on a single die or package. This shift does not modify the fundamentals of parallel programming, but makes harder the understanding and the tuning of the performances of parallel applications. Multicores technology leads to sharing of micro-architectural resources between the individual cores, which Abel et al. classified in storage and bandwidth resources. In this work, we empirically analyze the effects of such sharing on program performance, through repeatable experiments. We show that they can dominate scaling behaviour, besides the effects described by Amdahl’s law and synchronization or communication considerations. In addition to the classification of Abel et al., we view the physical temperature and power budget also as a shared resource. It is a very important factor for performance nowadays, since DVFS over a wide range is needed to meet these constraints in multicores. Furthermore, we demonstrate that resource sharing not just leads a flat speedup curve with increasing thread count but can even cause slowdowns. Last, we propose a formal modelling of the performances to allow deeper analysis. Our work aims to gain a better understanding of performance limiting factors in high performance multicores, it shall serve as basis to avoid them and to find solutions to tune the parallel applications.Cela fait plusieurs années que les systèmes multi-processeurs ont évolué vers des systèmesmulti-cœurs. Cette évolution ne bouleverse pas les fondements de la programmation parallèle, mais rend plus difficile l’analyse et l’optimisation des performances des codes. La technologie multi-cœurs engendre un partage de ressources micro-architecturales entre les cœurs individuels, classifiées en ressources destockage ou de bande passante d’après les travaux d’Abel et al. Dans ce document, nous effectuons une analyse fine et empirique des effets de ce partage de ressources sur les performances. Nous montrons qu’ils dominent la scalabilité des temps d’exécution, au delà des considérations de synchronisation et de communication modélisées dans la loi d’Amdahl. En plus de la classification étudiée, nous regardons la température physique et la puissance électrique comme des ressources partagées. Elles deviennent des facteurs très importants pour les performances actuellement; la modulation de fréquence (DVFS) est utilisée dans presque tous les systèmes multi-cœeurs à hautes performances. Aussi, nous montrons que le partage de ressources micro-architecturales engendre non seulement une stagnation des accélérations (le speedup de l’application en fonction du nombre de threads parallèles sur cœurs physiques), mais parfois une dégradation (slowdown). En dernier, nous proposons une modélisation formelle des performances d’applications parallèles permettant une analyse plus fine. Notre travail permet une meilleure compréhension des facteurs limitants les performances des applications parallèlessur systèmes multi-cœurs, servant de base ensuite pour l’analyse et l’optimisation de ces performances