Unified Reporting for Performance Testing

Moderní pokrok v oblasti technologií pro vývoj dnešních softwarových aplikací umožnil vývojářům více se soustředit na vývoj funkčnosti aplikace na úkor sledování jejího výkonu a správy zdrojů. V důsledku toho se zvýšily požadavky na nástroje pro výkonnostní testování, které by měly poskytovat vývojářům jasný a srozumitelný přehled o stavu systému z hlediska jeho výkonu a umožnit rychlou interpretaci naměřených výsledků. Tato práce zkoumá typické výkonnostní problémy dnešních aplikací a navrhuje přístupy, pomocí kterých je možné tyto anomálie automaticky rozpoznat. Pomocí statistických metod, jako je regresní a korelační analýza, je provedena analýza dat naměřených během výkonnostního testování s cílem rozpoznat ve výsledcích odchylky od normálního chování a z nich identifikovat výkonnostní problémy. Výsledkem je report o celkovém stavu systému z hlediska jeho výkonu. Implementací regresní analýzy je možné detekovat výkonnostní problémy jako je například zhoršující se reakční čas odpovědi, nízká propustnost systému či odhalit únik paměti. Navrhovaný přístup byl implementován v podobě nové komponenty v open-source nástroji pro výkonnostní testování PerfCake. Vyvinutá komponenta je schopna detekovat a reportovat potenciální výkonnostní problémy a jejich pravděpodobnost.Modern advances in software technologies for today’s application development have allowed for developers to concentrate less on issues, such as performance and resource management, and instead spend more time on developing the application functionality such that the time to market is reduced. Consequently, performance analysis and optimization become more difficult and create a need for advanced performance tools that should provide a clear report of the application in terms of its performance and allow a fast interpretation of these results. This work investigates typical performance problems of today’s applications and offers approaches on how to automatically detect them. Using statistical methods like regression and correlation analysis, investigation of measured values is performed in order to detect performance deviations that possibly occurred in an application under test. The proposed approach has been implemented as a new Reporter component into an open source performance testing tool PerfCake, developed by QE engineers from Red Hat Czech s.r.o. The developed component is capable of detecting and reporting possible issues and their probability. A unified report from all pre-specified measurements is created in such a way that all detected performance issues are immediately visible. The aim is to improve an end-user experience and usability when reading the report from performance testing.