Automatic regression benchmark system

revision 921 Regression benchmark is a part of regression testing that aims at an automatic detection of performance regression during application development. The goal is to detect as soon as possible the smallest change of performance. We need precise measurement of small parts of the program to achieve that. Although, many benchmark systems already exists none are fully automated and/or adapted to wide range of applications. However, automation is a crucial requirement in order to detect regression as soon as possible. This paper tackles generalities about performance measurements, then gives the requirements of such a system, and finally proposes a modeling. L’évaluation des régressions de performance d’une application fait partie intégrante de la phase de test de régression. Le but est d’exprimer le plus précisément possible les différences de performance entre deux ver-sions. Par précision, nous entendons à la fois la pertinence de l’estimateur de temps utilisé et la granularité des parties évaluées. Bien que de nombreux systèmes d’évaluation comparative des performances existent déjà, peu sont com-plètement automatisés et/ou adaptés à différentes sortes d’applications. Pourtant, l’automatisation de cette phase est cruciale afin de détecter le plus tôt possible les pertes de performance. Cet exposé présente tout d’abord les prérequis à la mise en place d’un tel système. Puis son architec-ture ainsi que son application au projet Transformers. Ensuite, nous comparerons différentes techniques d’estimations du temps d’exécution. Et enfin, nous évoquerons les possibilités d’adaptation d’un tel envi-ronnement à d’autre sorte d’applications