Vers des mécanismes génériques de communication et une meilleure maîtrise des affinités dans les grappes de calculateurs hiérarchiques

Scientific simulation is increasingly involved in industry and high performance computing is therefore important to today's society. However, the more powerful parallel computing platforms become, the more difficult their use is. Indeed, their complexity keeps growing considering the increasing amount of computing and storage resources involved, their heterogeneous features and their non-uniform locality. There is a need for new tools facilitating the exploitation of these parallel platforms. I first present how specialized high-performance networking mechanisms can be made more accessible and portable. This idea is applied to traditional networks such as Ethernet and communication between local processes, so as to improve message passing (MPI) performance without requiring proprietary hardware technologies. Then I explain how the management of modern hierarchical computing servers can be eased. Hardware platforms can be modeled based on the resource locality in simple manner, to hide technical details, but precise enough to let placement and scheduling algorithms take relevant decisions. Then I propose several tools enhancing the use of modern architectures where memory or I/O access is non-uniform. They provide performance improvements in parallel computing libraries by taking locality into account.Avec l'utilisation de plus en plus répandue de la simulation numérique dans de nombreuses branches de l'industrie, le calcul haute performance devient essentiel à la société. Si les plates-formes de calcul parallèle de plus en plus puissantes continuent à être construites, leur utilisation devient cependant de plus en plus un casse-tête. En effet, leur complexité croît avec la multiplication des ressources de calcul et de stockage impliquées, leurs fonctionnalités hétérogènes, et leur répartition non-uniforme. De nouveaux outils logiciels sont nécessaires pour faciliter l'exploitation de ces plates-formes. Je présente tout d'abord mes travaux visant à rendre plus accessibles et portables les mécanismes de communication développés par les constructeurs de réseaux haute performance pour le calcul. J'ai appliqué ce principe d'une part aux réseaux traditionnels de type Ethernet, et d'autre part aux communications entre processus locaux, afin d'améliorer les performances du passage de messages (MPI) sans dépendre de technologies matérielles spécialisées. J'explique ensuite comment faciliter la gestion des calculateurs hiérarchiques modernes. Il s'agit, d'une part, de modéliser ces plates-formes en représentant l'organisation des ressources de manière suffisamment simple pour masquer les détails techniques du matériel, et suffisamment précise pour permettre aux algorithmes de prendre des décisions de placement ou d'ordonnancement ; d'autre part, je propose des outils améliorant la gestion des architectures modernes où l'accès à la mémoire et aux périphériques n'est plus uniforme. Cela permet d'améliorer les performances de bibliothèques de calcul parallèle en tenant compte de la localité