Evaluating and selecting software test automation tools:synthesizing empirical evidence from practitioners

Abstract In the software industry, test automation is an investment, and its value to software development is, typically, only visible after a delay. The effects of adopting test automation approaches may be positive on both software quality and total costs through efficient testing and re-prioritizing work, as long as the right tools are in place. However, finding, evaluating, and selecting the right tool(s) for the purpose or context is problematic and may be essential to the success of a business. Furthermore, there is minimal empirical evidence available for evaluating experiential knowledge about these tools and processes for selecting them. The goal of this dissertation was to review and classify the state-of-the-practice of tool evaluation and selection (for software test automation) among software practitioners and contribute empirically validated evidence to the process. A mixed-methods approach was applied to expand the evidence base for the “voice of practitioners.” Both quantitative and qualitative data were collected via empirical methods, including quantitative surveys, web scraping, and data mining from Internet sources, as well as a grey literature review (GLR) and qualitative interviews. The key finding of this dissertation is that practitioners have reached an apparent consensus on the important criteria for tool evaluation. However, aligned guidelines and systematic processes for evaluating and selecting the right tool(s) are lacking. New tools for software testing are emerging in the market, and the findings reveal dominant tools, but local and global preferences may differ. The findings highlight the interconnection of different tool evaluation criteria and the context’s potential impact on them. The key lesson learned from the research suggests that empirical evidence via data triangulation is valuable in identifying false claims, justifying facts about the criteria, and revealing possible problems and misconceptions in the process of evaluating and selecting tools. Academic research allows a more comprehensive understanding of the relationships between required technical skills and achievable goals by synthesizing practitioner viewpoints on the phenomena and utilizing complementary methods. The avenue for future research is open for studies of evaluation criteria and experienced problems and benefits, as these are bound to both the context and available resources.Tiivistelmä Ohjelmistoteollisuudessa testausautomaatio on investointi, jonka todelliset vaikutukset ohjelmistokehitykseen näkyvät viiveellä. Testausautomaatio voi vaikuttaa positiivisesti sekä ohjelmiston laatuun että kustannuksiin tehokkaan testauksen ja töiden uudelleenprioriosoinnin avulla, kunhan käytettävät työkalut ovat sopivia. Oikean työkalun/työkalujen löytäminen, arviointi ja valinta tiettyyn tarkoitukseen tietyssä kontekstissa on ongelmallista ja voi olla olennaista liiketoiminnan menestymiselle. Työkalujen arviointiin ja valintaan liittyvästä kokemusperäisestä tiedosta on vain vähän empiiristä näyttöä. Väitöskirjan tavoitteena oli tarkastella ja luokitella ohjelmistoteollisuuden ammattilaisten keskuudessa vallitsevia käytäntöjä ohjelmistotestauksen työkalujen arviointiin ja valintaan, sekä tuottaa prosessiin empiiristä tutkimusnäyttöä. Monimenetelmätutkimusta hyödynnettiin laajentamaan tutkimusnäyttöä ”ammattilaisten äänestä”. Useita empiirisiä menetelmiä käytettiin keräämään sekä määrällistä että laadullista dataa: määrällisiä kyselyitä, verkkosivujen haravointia, tiedon louhintaa Internet-lähteistä, harmaan kirjallisuuden analyysiä sekä haastatteluita. Tämän väitöskirjan keskeinen löydös on, että ammattilaisilla on näennäinen yksimielisyys työkalun arvioinnin tärkeistä kriteereistä, mutta oikean työkalun arvioimiseen ja valintaan ei ole yhdenmukaisia ohjeita eikä systemaattisia prosesseja. Samalla, kun uusia ohjelmistotestauksen työkaluja ilmaantuu markkinoille, tulokset paljastavat hallitsevia työkaluja, vaikka preferensseissä on globaaleja ja paikallisia eroja. Havainnot korostavat eri arviointikriteerien yhteyttä ja kontekstin mahdollista vaikutusta kriteereihin. Tutkimuksen keskeinen tulos esittää, että empiirinen tutkimusnäyttö on arvokasta, koska sen avulla voidaan tuoda ilmi virheellisiä väitteitä ja osoittaa tosiasioita kriteerien suhteen, sekä paljastaa ongelmia ja väärinkäsityksiä työkalujen arviointi- ja valintaprosesseissa. Akateeminen tutkimus mahdollistaa kattavan käsityksen luomisen vaadittujen teknisten taitojen ja saavutettavissa olevien tavoitteiden suhteen, syntetisoimalla ammattilaisten näkemyksiä ilmiöistä toisiaan täydentävin menetelmin. Jatkotutkimuksille on tilaa sekä arviointikriteerien että koettujen ongelmien ja hyötyjen suhteen, koska ne ovat sidonnaisia paitsi konteksteihin myös resursseihin