Visualizing More Performance Data Than What Fits on Your Screen

High performance applications are composed of many processes that are executed in large-scale systems with possibly millions of computing units. A possible way to conduct a performance analysis of such applications is to register in trace files the behavior of all processes belonging to the same application. The large number of processes and the very detailed behavior that we can record about them lead to a trace size explosion both in space and time dimensions. The performance visualization of such data is very challenging because of the quantities involved and the limited screen space available to draw them all. If the amount of data is not properly treated for visualization, the analysis may give the wrong idea about the behavior registered in the traces. This paper is twofold: first, it details data aggregation techniques that are fully configurable by the user to control the level of details in both space and time dimensions; second, it presents two visualization techniques that take advantage of the aggregated data to scale. These features are part of the Viva open-source tool and framework, which is also briefly described in this paper.Les applications à hautes performances sont composées d'un grand nombre de processus exécutés sur des systèmes distribués à large échelle comportant potentiellement des millions d'unités de calcul. Une approche possible pour analyser les performance de telles applications consiste à tracer le comportement de chacun des processus individuellement. Le grand nombre de processus ainsi que la complexité de leur comportement conduit à une explosion de la taille de la trace à la fois en terme de temps et d'espace. La visualisation de telles données est extrêmement délicate en raison de la quantité de données impliquées et de la limitation inhérente de l'écran qui interdit que tout afficher. Si les données ne sont pas correctement pre-traitées et agrégées en vue de la visualisation, l'analyse peut être complètement biaisée et induire l'analyste en erreur. Cet article illustre ce problème par un exemple concret avant d'introduire des techniques d'agrégation de données paramétrables et qui permettent à l'analyste de contrôler le niveau de détail auquel il souhaite regarde son système, à la fois dans l'espace et dans le temps. Nous présentons ensuite deux techniques de visualisation tirant parti de cette agrégation paramétrique afin de passer à l'échelle. Ces techniques ont été mises en oeuvre dans l'outil open-source Viva qui est brièvement décrit dans cet article