A Tool Prototype Supporting Risk-Based Testing in Agile Embedded Software Development

Risk-Based Testing is a testing approach in software development that involves identifying, analyzing, controlling, testing, and reporting risks. The strategy provides several benefits and helps companies control risks and manage them effectively. However, the testing strategy may become challenging with new technologies, increased deployment and development of new features, and larger projects. Westermo is a manufacturer and vendor of industrial ethernet networks and data communications products for mission-critical systems in harsh environments. Risk-based testing is a critical component of their software development process to maintain high-quality deployments. Westermo's current approach to documenting and monitoring risks is done through spreadsheets. Over time, as new features are implemented and deployed, these spreadsheets become more complex and challenging to manage. As such, Westermo is currently seeking to replace them with a new risk management tool supporting risk-based testing. In this thesis, I investigated how one can prototype a risk management tool to support the risk-based testing process at Westermo. To this end, a deeper understanding of how current risk-based testing is performed and managed during software development was required. I also had to identify the challenges with the current approach for documenting and monitoring risks and the requirements for a new tool. I investigated these issues using a combination of qualitative research strategies and divided the work into three phases. In the first phase, I observed internal process documentation and three risk analysis workshops with a total of 14 participants held by Westermo. This was followed by interviewing two software developers and one project manager to identify requirements for a new tool. The next step was to develop a prototype and in the final phase, I evaluated the utility of the design with two focus groups for a total of six participants. Ideally, according to the requirements I identified, the risk management tool should facilitate the documenting and monitoring of the risks and provide functions to add, manage and visualize the risks from a larger release perspective and a smaller feature perspective in a simple and efficient manner.Riskbaserad testning är en testmetod inom mjukvaruutveckling som innebär att identifiera, analysera, kontrollera, testa och rapportera risker. Teststrategin ger flera fördelar och hjälper företag att kontrollera risker och hantera dem effektivt. Med ny teknik, ökad distribution och utveckling av nya funktioner och större projekt kan processen istället bli utmanande. Westermo är en tillverkare och leverantör av industriella Ethernet-nätverks- och datakommunikationsprodukter för verksamhetskritiska system i tuffa miljöer. Riskbaserad testning är en viktig teststrategi i deras mjukvaruutvecklingsprocess för att upprätthålla högkvalitativa distributioner. Westermos nuvarande tillvägagångssätt för att dokumentera och övervaka risker är genom att använda kalkylblad. Med tiden, när nya funktioner implementeras och distribueras, blir dessa kalkylblad mer komplexa och utmanande att hantera. Därför försöker Westermo för närvarande ersätta dem med ett nytt riskhanteringsverktyg för att stödja riskbaserad testning. I det här examensarbete undersökte jag hur man kan prototypa ett riskhanteringsverktyg för att stödja den riskbaserade testprocessen på Westermo. För detta ändamål krävdes en djupare förståelse för hur aktuell riskbaserad testning utförs och hanteras under mjukvaruutveckling. Jag behövde också identifiera utmaningarna med det nuvarande tillvägagångssättet för att dokumentera och övervaka risker och kraven på ett nytt verktyg. Jag undersökte dessa frågor genom en kombination av kvalitativa forskningsstrategier och delade upp arbetet i tre faser. I den första fasen observerade jag intern processdokumentation och tre riskanalysmöten med totalt 14 deltagare i Westermo. Detta följdes av intervjuer med två mjukvaruutvecklare och en projektledare för att identifiera krav på ett nytt verktyg. Nästa steg var att ta fram en prototyp och i slutfasen utvärderade jag användbarheten av designen med två fokusgrupper med totalt sex deltagare. Enligt de krav jag identifierade ska riskhanteringsverktyget kunna underlätta dokumentationen och övervakningen av riskerna och tillhandahålla funktioner för att lägga till, hantera och visualisera riskerna ur ett större releaseperspektiv och ett mindre funktionsperspektiv på ett enkelt och effektivt sätt