Criterios restritos de teste de software : uma contribuição para gerar dados de teste mais eficazes

Orientadores: Jose Carlos Maldonado, Mario JinoTese (doutorado) - Universidade Estadual de Campinas, Faculdade de Engenharia Eletrica e de ComputaçãoResumo: Critérios de teste estrutural dividem o domínio de entrada de um programa em teste, em sub-domínios e requerem que pelo menos um ponto de cada sub-domínio seja executado, auxiliando na geração de dados de teste; permitem ainda, a avaliação da adequação de um dado conjunto de dados (casos) de teste. Uma vez particionado o domínio, é necessário responder à seguinte questão: "Que pontos de cada sub-domínio devem ser selecionados?". Isso diz respeito à tarefa de geração de dados de teste para satisfazer um critério. Essa é uma atividade bastante complexa de ser automatizada pois não existe um algoritmo de propósito geral para determinar um conjunto de casos de teste que satisfaça um dado critério para um particular programa. Não é possível nem mesmo determinar se esse conjunto existe. Na literatura são encontradas diferentes técnicas de geração de dados de teste que utilizam diferentes fundamentos para selecionar pontos do domínio que descrevem certos tipos de erros e, por isso, com alta probabilidade de revelar esses erros. No entanto, essas técnicas são apresentadas de forma dissociada dos critérios estruturais. Este trabalho introduz uma família de Critérios Baseados em Restrições, denominados Critérios Restritos, que têm o objetivo de aumentar a eficácia das atividades de teste e de oferecer medidas de cobertura. Os Critérios Restritos permitem a utilização de critérios estruturais juntamente com os princípios de técnicas de geração de dados de teste sensíveis a erros e foram motivados por resultados de estudos teóricos e empíricos conduzidos com essas técnicas. Nesse trabalho, esses resultados, que serviram como motivação para a introdução dos Critérios Restritos, são apresentados. São discutidos aspectos de complexidade e de relação de inclusão entre os Critérios Restritos e os demais critérios. Também é proposta uma extensão da ferramenta de testes POKE- TOOL para apoiar a utilização desses critérios e para facilitar a etapa de geração de dados de teste. Um experimento de avaliação dos Critérios Restritos é descrito. Os resultados desse experimento comprovam a aplicabilidade desses critérios e indicam um aumento no número de erros revelados. Ao final, são propostas duas estratégias de geração de dados de teste para satisfazer critérios de teste estrutural. Elas têm como objetivo reduzir os efeitos causados por caminhos não executáveis na atividade de teste e gerar dados com alta probabilidade de revelar erros. Entre essas estratégias propõe-se uma estratégia incremental, baseada na hierarquia entre os critérios, e que garante a preservação da relação de inclusão mesmo quando o fator eficácia é consideradoAbstract: Structural testing criteria divide the program input domain to sub-domains and require the execution of at least one point from each sub-domain. They support the test data generation phase and the adequacy analysis of a test set. Once the domain is divided, the question is posed: "What points in each sub-domain should be selected?" This question concerns to the task of generating test data to satisfy a criterion, which is very complex to be automated since there is no general algorithm to determine a set of test cases that satisfy a given criterion; it is not possible to determine even that such set exists. In the literature there are different test data generation techniques with different principIes for choosing points from the program domain associated to certain errors, with a high probability of revealing them. However these techniques are presented not associated to structural criteria. This work introduces a family of criteria, named Constraint Based Criteria. They have the goal of increasing the testing activity efficacy and make possible to obtain coverage measures. They permit the use of error-sensitive data generation techniques with structural criteria. The Constraint Based Criteria proposal was motivated by results obtained from empirical and theoretical studies with these techniques. These results are presented. Aspects of complexity and the inclusion relation among Constraint Based Criteria and othercriteria are discussed. An extension to POKE- TOOL is proposed with the goal of supporting Constraint Based Criteria and easing the data test generation phase. An experiment to evaluate the Constraint Based Criteria is described. The results from this experiment show their applicability and an increase in the number of revealed errors. And finally, two test data generation strategies to satisfy structural criteria are proposed. They have the goal of reducing the effects of infeasible paths in the testing activity and of generating test data with high probability of revealing errors. One of these strategies is incremental, based on the hierarchy of criteria and always preserve the inclusion relation among criteria even when the factor efficacy is considered.DoutoradoEngenharia de ComputaçãoDoutor em Engenharia Elétric