Monitoring the behavior of parallel programs: how to be scalable?

It is easy to find errors and inefficient parts of a sequential program, by using a standard debugger/profiler, but there is no such tool in a parallel environment. The only way to study the race conditions of a parallel program is to execute it and collect data about its execution. The programmer can then use the generated trace files and specialized tuning tools to visualize and improve the behavior of the program: idle processors, communications, etc. The problem in large parallel systems is that these tools have to deal with an enormous amount of data. The classical approach to monitor and trace analysis i.e. sequential, event driven, post-mortem monitoring) is no longer realistic. To avoid this bottleneck, we introduced PIMSY (Parallel Implementation of a Monitoring System). The main idea of PIMSY is to let the trace data distributed among the parallel storage and to distribute the program (or the programs) that deal with the trace data.Grâce à l'utilisation d'un débogueur/profiler, il est facile de trouver les erreurs et les parties inefficaces dans un programme séquentiel. Mais il n'existe pas d'outils homologues dans un environnement parallèle. la seule solution pour étudier le comportement d'un programme est de l'exécuter et de récupérer les informations concernant cette exécution. Le programmeur peut alors traiter à l'aide d'outils appropriés les fichiers de trace afin de visualiser et d'améliorer le programme : processeurs inactifs, communications ... Un problème apparaît avec les systèmes massivement parallèles, c'est celui de la grande quantité d'information qu'ont à traiter ces outils. L'approche classique du monitoring et de l'analyse de trace (c.à.d. séquentiel, post-mortem, basé sur l’événement) n'est plus viable. Pour éviter ce goulot d'étranglement, nous présentons PIMSY (Parallel Implementation of a Monitoring System). L'idée centrale de PIMSY est de conserver l'aspect distribué des fichiers trace lors de leur génération. Pour cela on utilise un système distribué de fichiers de trace qui sont manipulées par une programme, lui-même, parallèl