The Mutation analysis in the context of reactive systems : uma contribuição para o estabelecimento de estratégias de teste e validação testing and validation

Este trabalho propõe a extensão do critério Análise de Mutantes, originalmente desenvolvido para o teste de programas, para sua aplicação no teste de especificações do aspecto comportamental de Sistemas Reativos. Esses sistemas constituem hoje um componente fundamental em várias atividades humanas e, em geral, falhas nos mesmos podem envolver grandes riscos a vida ou ao patrimônio. Isso toma imprescindível um maior rigor no processo de desenvolvimento e, em particular, na atividade de teste, que é fundamentalmente baseada em simulação, não fornecendo critério que avalie essa atividade de forma quantitativa. A proposta aborda a aplicação da Análise de Mutantes na validação de especificações de Sistemas Reativos baseadas em três técnicas formais, que possuem apoio gráfico, mais utilizadas para este fim: Máquinas de Estados Finitos, Redes de Petri e Statecharts. Para a aplicação do critério nesse contexto, estabeleceu-se um paralelo entre os níveis de programa e de especificação, quanto as suas hipóteses básicas do programador competente e do efeito de acoplamento. Foram definidos os operadores de mutação para cada uma das três técnicas consideradas, além de critérios de mutação alternativa que visam a minimização no custo de aplicação do critério. Foram realizados, manualmente, dois experimentos com o objetivo de validar os mecanismos propostos. Um deles foi aplicado em Máquinas de Estados Finitos e o outro, em Redes de Petri. Os resultados mostram evidências do aspecto complementar do critério Análise de Mutantes em relação as formas disponíveis de teste de especificações existentes na literatura. Apresenta-se também um protótipo da ferramenta Proteum-RSIFSM que apóia a aplicação da Análise de Mutantes em Máquinas de Estados Finitos e discute-se a instanciação dessa ferramenta para apoiar a aplicação do critério nos contextos de Statecharts e Redes de PetriReactive Systems are a fundamental component in severa1 activities and failures in these systems may cause risks to life or financia1 losses. Thus, the development process and particularly the test activity must be carried on with extreme care. This work proposes the use of Mutation Analysis - a technique originally proposed at program level testing - in the context of testing and validation of specifications of Reactive Systems; three graphical techniques are considered: Finite State Machines, Petri Nets and Statecharts. Currently, the test of such specifications is mainly based on simulation. The relevance of a test adequacy assessment criterion for such activity has been recognized by many researchers and practitioners and constitutes the objective of this work. The application of Mutation Analysis in this context is based in the assumption that the basic hypothesis valid to the program level - the hypothesis of the competent programmer and coupling effect also hold to the specification level. Mutation operators are defined for the three specification techniques. Also, alternative criteria were defined aiming at reducing the cost of application of Mutation Analysis in this context. Two experiments were manually conducted in order to validate the proposed ideas. The results show evidences of the complementary aspects among existent methods and Mutation Analysis for testing specifications of Reactive Systems. A prototype of Proteum-RSIFSM, a to01 to support Mutation Analysis for Finite State Machines is presented and its extensions to Statecharts and to Petri Nets are discusse