Parametric and Non-Parametric Statistics for Program Performance Analysis and Comparison

This report is a continuation of our previous research effort on statistical program performance analysis and comparison, in presence of program performance variability. In the previous study, we gave a formal statistical methodology to analyse program speedups based on mean or median performance metrics: execution time, energy consumption, etc. However mean or median observed performances do not always reflect the user's feeling of performance, especially when the performances are really instable. In the current study, we propose additional precise performance metrics, based on performance modelling using gaussian mixtures. We explore the difference between parametric and non parametric statistics applied on program performance analysis. Our additional statistical metrics for analysing and comparing program performances give the user more precise decision tools to select best code versions, not necessarily based on mean or median numbers. Also, we provide a new metric to estimate performance variability based on gaussian mixture model. Our statistical methods are implemented with R and distributed as open source code.Dans des résultats précédents [TWB10, TWB13], nous avons présenté un protocole statistique rigoureux pour analyser et comparer les performances moyennes et médianes des programmes (temps d’exécution, consommation d’énergie, etc.). Cependant, les métriques de la moyenne ou de la médiane des observations ne sont pas nécessairement celles qui reflètent le sentiment qu’ont les utilisateurs vis à vis de leurs programmes, surtout si les performances sont instables. Dans le rapport présent, nous persévérons dans notre travail d’étude statistique pour proposer de nouvelles métriques précises, basées sur une modélisation des performances avec un mélange de Gaussiennes. Nous explorons la différence entre des statistiques paramétriques et des statistiques non paramétriques. Nos nouvelles métriques de performances apportent aux utilisateurs de meilleurs outils précis pour l’analyse et la comparaison des performances des programmes. Également, nous proposons une métrique pour évaluer la variabilité des performances de codes basée sur la modélisation par mélange de Gaussiennes. Nos méthodes statistiques sont implémentées dans R et diffusées en logiciel source libre