Software fault detection using clustering of performance profiles

A maioria dos problemas de desempenho são únicos. As métricas, cargas de trabalho e técnicas de avaliação usadas em um problema geralmente não podem ser usadas no problema seguinte. Portanto, ferramentas automáticas que auxiliem no entendimento do comportamento de uma aplicação em execução e suas mudanças ao longo do ciclo de desenvolvimento são essenciais para análises de desempenho e detecção de erros. A proposta deste trabalho é explorar a descoberta de defeitos no software por intermédio da avaliação de desempenho, assumindo a premissa que tais defeitos alteram o uso dos recursos ao longo da execução da aplicação. Isso é feito com a abordagem de teste funcional do programa em execução, onde são avaliados aspectos de desempenho da aplicação, e não aspectos funcionais, na detecção de erros na execução causados por defeitos. Um algoritmo de agrupamento baseado em Distância por Compressão Normalizada é aplicado para definir de forma automática um perfil de desempenho esperado do software em casos de teste, que é usado também para detectar anomalias. O processo de validação desta proposta é feito com a geração de defeitos por meio de mutação seletiva.Most performance issues are unique. The metrics, workloads, and rating techniques used in a problem generally can not be used in the next problem. Therefore, automated tools that assist in understanding the behavior of a running application and its changes throughout the development cycle are essential for performance analysis and error detection. The proposal of this research is exploring the discovery of softwares faults, by means of performance evaluation, assuming the premisse that such faults change the use of resources, throught the applications execution. This is done with the functional test approach of the running program, where performance aspects of the application, rather than functional aspects, are evaluated in the detection of errors in execution caused by faults. A Normalized Compression Distance based clustering algorithm is applied to automatically define an expected performance profile of a software for test cases,which is also used for detecting anomalies. The validation process is done with the generation of faults through selective mutation