Automatic generation of executable test cases based on abstract ones for Web applications

A automação da geração e da execução de casos de teste está de acordo com o grande desafio na área de desenvolvimento de software que é fazer mais com menos recursos. Entretanto, para unir estes dois processos, ainda é necessário fazer a ponte entre o nível de especificação do Sistema em Teste (SeT) e sua respectiva implementação. O processo de geração de casos de teste usualmente requer uma representação formal do SeT (baseada nos documentos de especificação do SeT) e gera casos de teste abstratos, no sentido que eles estão no mesmo nível de detalhamento das especificações. Já a execução automática de casos de teste necessita de casos de teste executáveis, ou seja, aqueles que contêm detalhes de implementação do SeT para serem executados sem intervenção manual. Para usar automação desde a fase de projeto de teste até a fase de execução, é necessário preencher a lacuna entre o caso de teste abstrato (artefato de saída da geração automática de casos de teste) e o executável (artefato de entrada da execução automática de teste), pois eles estão em níveis de abstração diferentes. Usualmente, alguém com habilidades de programação realiza o processo de transformação do nível abstrato para o de implementação, despendendo muito esforço e tempo. Neste trabalho, avaliamos as propostas para mapeamento automático de casos de teste abstratos em executáveis existentes na literatura que estão de acordo com Teste Dirigido por Modelo (MDT), abordagem cujo intuito é gerar automaticamente artefatos de teste de software em diferentes níveis de abstração aplicando regras de transformação. Além de avaliar as propostas, escolhemos uma delas para instanciar para aplicações Web (as aplicações que mais cresceram nos últimos anos, tanto em uso, como em nível de complexidade), mostrando quais são os passos necessários para transformar os casos de teste abstratos em executáveis, levando em conta que existem bibliotecas especializadas no suporte à escrita deste último. Para avaliar a aplicabilidade da solução em aplicações Web reais, realizamos o estudo de caso usando aplicações Web de grande porte, duas delas de uso nacional e outra disseminada em escala mundial. Além disso, foi realizado o processo completo de teste (geração dos casos de teste abstratos; uso da proposta de instanciação, para aplicações Web, do método para transformar os casos de teste abstratos em executáveis; e execução dos testes), ilustrando a factibilidade da solução.Automating the generation and execution of test cases meets the major challenge in software development that is doing more with fewer resources. However, to bring together these two processes, it is still necessary to bridge the gap between the specification level of the System under Test (SUT) and its respective implementation. The process of generating test cases usually requires a formal representation of the SUT (based on its specifications) and generates abstract test cases, in the sense that they are on the same detailing level of the specifications. On the other hand, the automatic execution of test cases needs executable test cases, i.e., those that contain implementation details of the SUT to run without manual intervention. So, to use automation from the test design phase to the test execution one, it is necessary to fill the gap between the abstract test case (output artifact of the automatic generation of test cases) and executable one (input artifact for the automatic test execution), once they are at different abstraction levels. Usually, someone with programming skills makes the process of transforming the abstract level to the implementation one, spending much effort and time. In this work, we evaluate the existing literature proposals for automatic mapping of abstract test cases into executable ones that were designed according to Model Driven Testing (MDT), one approach whose aim is to automatically generate software testing artifacts in different levels of abstraction by applying transformation rules. In addition to evaluating the proposals, we chose one to instantiate for Web applications (the kind of applications that have grown most in recent years, either in use as level of complexity), showing what are the steps needed to transform the abstract test cases into executable ones, taking into account that there are specialized libraries to support the writing of the latter one. To evaluate the solution applicability in real Web applications, we conducted case studies using large Web applications (two national ones and another which is worldwide used). In addition, we performed the whole test process (generation of abstract test cases; use of the proposed instantiation for web applications of a method to transform the abstract test cases into executable ones; and running the tests), illustrating the solution feasibility