An evolutionary approach for automatic test data generation

O teste é uma atividade importante do processo de desenvolvimento de software, e automatizar a geração de dados de teste contribui para a redução dos esforços de tempo e recursos. Recentemente foi mostrado que os algoritmos evolutivos, tal como os Algoritmos Genéticos (AGs), são ferramentas valiosas para a geração de dados. Este trabalho avalia pela primeira vez o desempenho de um algoritmo evolutivo proposto recentemente, a Otimização Extrema Generalizada (em inglês, Generalized Extremal Optimization, GEO), na geração de dados de teste para cobrir um subconjunto de caminhos de um programa, com ou sem loops. Sete programas muito conhecidos e utilizados como benchmarks por outros autores foram escolhidos como estudos de caso, e o desempenho do GEO foi comparado com o de um AG e o Random-Test (RT). Uma aplicação real do Instituto Nacional de Pesquisas Espaciais (INPE) também foi testada para validar a pesquisa, e as comparações de desempenho incluíram uma variação do AG utilizado nos benchmarks. Para os benchmarks e a aplicação real, o uso do GEO exigiu muito menos esforço computacional para gerar os dados do que os AGs, e a cobertura média de caminhos obtida por ele foi muito semelhante à dos AGs. Além disso, o GEO também exigiu muito menos esforço computacional no ajuste interno de parâmetros do que os AGs. Estes resultados indicam que o GEO é uma opção muito atraente a ser utilizada na geração de dados de testeSoftware testing is an important activity of the software development process and automating test data generation contributes to reduce cost and time efforts. It has recently been shown that evolutionary algorithms, such as the Genetic Algorithms (GAs), are valuable tools for test data generation. This work assesses for the first time the performance of a recently proposed evolutionary algorithm, the Generalized Extremal Optimization (GEO), on generating test data to cover a subset of paths of a program, with or without loops. Seven well known benchmark programs were used as study cases, and the performance of GEO was compared to the one of a GA and Random-Test (RT). A real application from Instituto Nacional de Pesquisas Espaciais (INPE) was also tested in order to validate the research, and the performance comparisons included one variation of the GA used in the benchmarks. For the benchmark programs and the real application, using GEO required much less computational effort to generate test data than using the GAs, and GEO's average coverage was very similar to GA's. Besides this, it also required much less computational effort on internal parameter setting than the GAs. These results indicate that GEO is a very attractive option to be used for test data generatio