Strategies for controlling test suite size generated from MBT approaches.

Submitted by Lucienne Costa (lucienneferreira@ufcg.edu.br) on 2019-09-05T19:48:40Z No. of bitstreams: 1 EMANUELA GADELHA CARTAXO – TESE (PPGCC) 2011.pdf: 4821620 bytes, checksum: 76f6a219df3172885702699e49d3defb (MD5)Made available in DSpace on 2019-09-05T19:48:40Z (GMT). No. of bitstreams: 1 EMANUELA GADELHA CARTAXO – TESE (PPGCC) 2011.pdf: 4821620 bytes, checksum: 76f6a219df3172885702699e49d3defb (MD5) Previous issue date: 2011-06-30Teste é a técnica mais comumente utilizada para avaliar a qualidade do software como parte do processo de validação e verificação. Entretanto é normalmente uma atividade cara. Prometendo reduzir os custos e também promover efetividade, abordagens de Teste Baseado em Modelos (Model-based Testing - MBT) têm sido propostas, onde os casos de teste podem ser obtidos a partir de especificações. Em MBT, os algorítmos usados para obter casos de teste são normalmente baseados em “busca” em um modelo comportamental e, na maioria das vezes, o critério de parada é baseado em um critério de cobertura estrutural que é exaustivamente aplicado. Portanto, neste contexto, o número de casos de teste tende a ser muito grande. Por outro lado, nem sempre há recursos suficientes (tempo e dinheiro) para executar todos eles. Também, alguns casos de teste podem exercitar sequências comuns de funcionalidades. Neste sentido, redundância é um conceito importante que pode ser considerado para obter uma suíte de teste menor, uma vez que partes redundantes podem não incrementar a cobertura de funcionalidades ou cobertura de faltas. Algumas estratégias para controlar o tamanho da suíte de teste têm sido propostas: seleção de casos de teste e redução de suítes de teste. A primeira normalmente considera um propósito de teste (para reduzir o espaço de busca) e/ou fixa um número de casos de teste desejado sem levar em consideração o conceito de redundância. Por outro lado, algumas estratégias para redução de suítes de teste são propostas e experimentadas considerando a redundância estrutural no contexto de teste caixa branca. Obviamente, é necessário buscar estratégias para controlar o tamanho das suítes de teste geradas a partir de abordagens MBT que considerem o conceito de redundância. Diferentes estratégias para controlar o tamanho das suítes de teste foram propostas nesta tese focando em seleção e redução. Os resultados mostram que estratégias para seleção e redução baseadas em Similaridades são boas para detectar faltas e prover um adequada cobertura. As estratégias propostas podem ser aplicadas a diferentes níveis de teste, porém o foco é teste de sistema. Por fim, um novo modo de avaliar estratégias para redução de suítes de teste - considerando a taxa de detecção de faltas - é proposta. A taxa de detecção de faltas é uma métrica largamente utilizada para comparar estratégias de priorização de suítes de teste, entretanto até agora não tinha sido considerada para avaliar estratégias de redução de suítes de teste.Testing is the most commonly applied technique to evaluate the quality of software as part of verification & validation processes. However, it is usually an expensive activity. Promising to reduce costs as well as promoting effectiveness, Model-based Testing (MBT) approaches have been proposed, where test cases can be obtained from specifications. In MBT, the algorithms used to obtain test cases are usually based on a “search” in a behavioral model and, in most of the times, the stop decision is based on structural coverage criteria that are exhaustively applied. Therefore, in this context, the number of applicable test cases tends to be very high. On the other hand, usually, there are not sufficient resources (time and money) to execute all of them. Also, some test cases may exercise common sequences of functionalities. In this sense, redundancy is an important concept that can be considered to obtain a smaller test suite, once that redundant parts may not increase functionality coverage or fault detection. Some strategies for controlling the size of the test suites have been proposed: test case selection and test suite reduction. The former usually considers a test purpose (to reduce a space search) and/or fix a number of test cases that are desired without taking into account the redundancy concept. On the other hand, some strategies for test suite reduction are proposed and experimented considering structural redundancy for white-box testing. Obviously, it is necessary to seek strategies for controlling the size of the test suites generated from MBT approaches that consider the redundancy concept. Different strategies for controlling the size of test suites are proposed in this thesis focusing on selection and reduction. Results show that strategies for selection and reduction based in Similarities are good to detect faults and provide a adequate coverage. Even though the strategies proposed can be applied to different testing levels, the focus is on system testing. Finally, a new way to evaluate test suite reduction strategies - by considering the rate of fault detection - is proposed. Even though, the rate of fault detection is a metric widely used to compare test suite prioritization strategies, it has not yet been considered to evaluate test suite reduction strategies