Key Aspects to Consider for Software Testingin Complex Embedded Systems : A Case Study of Software Development in the Automotive Industry

Software development in the complex environment in the automotive industry puts high pressureon developers to develop high quality and robust software aligned to customers’ requirements. High quality software is foremost ensured by conducting software testing of the product under development. However, software testing in the automotive industry poses challenges of testing early in the development process, due to the limits of conducting tests in full-scaled vehicle environments. This challenge needs to be addressed for software development teams developing software that communicates with the complex on-board embedded system in vehicles. This study has been conducted in a case study approach at Scania CV AB in Södertälje in order to understand drivers to defects that emerge in finalized software products. Defects and drivers to defects found in finalized software products have been identified by conducting interviews with the SCPT-team responsible for the development of the product Escape. Escape is delivered to the production department and enables functions such as calibrating, set parameters, and run quality assurance tests on the on-board embedded system in vehicles. The identified defects and drivers have subsequently been discussed with experienced professionals and researchers within software testing. This provided applicable testing techniques and activities to undertake in order to address the identified drivers causing defects in finalized software products. The contribution of this study highlights the importance of incorporating software testing in early development phases in complex embedded systems as defects are more costly to correct the later they are identified. Static analysis tools have further been found to provide a suitable support to address the immense number of possible parameter combinations in vehicles. Furthermore, Software in the Loop environments have been found to be an applicable way of incorporating integration testing and system testing earlier in the development phase enabling identification of interoperability defects generally found late in the development process. Including persons responsible for testing the software in early requirements discussion has further been found to be of great importance as it minimizes the risk of misunderstandings between customers and developers.Mjukvaruutveckling i den komplexa miljön bilindustrin befinner sig i sätter hög press på mjukvaruutvecklare att utveckla robusta mjukvaruprogram av hög kvalitet som uppfyller kundernas krav. Mjukvaruprogram av hög kvalitet är först och främst säkerhetsställd genom mjukvarutestning av produkten under utveckling. Däremot finns det en del utmaningar när det kommer till mjukvarutestning av mjukvaruprogram i bilindustrin på grund av den begränsade möjligheten till att testa programvaran i helbilsmiljöer. Team som utvecklar mjukvaruprogram som kommunicerar med det komplexa inbyggda systemet i fordon måste ta itu med denna utmaning. För att undersöka anledningar till att defekter identifieras i mjukvaruslutprodukter har denna studies tillvägagångssätt varit en fallstudie på Scania CV AB i Södertälje. Anledningar till defekter identifierade i slutprodukter har undersökts genom intervjuer med SPCT-teamet som ansvarar för att utveckla och testa produkten Escape. Escape är en produkt som används av produktionsavdelningen och erbjuder funktioner så som parametersättning, kalibrering och att köra kvalitetstester av det inbyggda systemet i fordon. De identifierade anledningarna till defekter har därefter diskuterats med erfarna mjukvarutestare inom både industrin och akademin. Det har bidragit till användbara testtekniker och testaktiviteter att ta sig an för att ta i tu med dem identifierade defekterna och dess anledningar som bidrar till defekter i slutprodukter. Forskningsbidraget från denna studie betonar hur viktigt det är att inkorporera mjukvarutestning tidigt i utvecklingsprocessen av komplexa inbyggda system eftersom defekter är dyrare att rätta till ju senare de upptäcks. Statiska analysverktyg har visat sig utgöra en användbar hjälp för att ta i tu med den stora mängden möjliga parameterkombinationer i fordon. Dessutom har Software in the Loop miljöer visat sig vara ett användbart sätt att möjliggöra integrationstestning och systemtestning tidigt i utvecklingsprocessen vilket kan identifiera defekter som vanligtvis först identifieras sent i utvecklingsprocessen. Involvera personer som är ansvariga för mjukvarutestning av produkten tidigt i kravdiskussioner har också visat sig vara viktigt för att minimera risken för missförstånd mellan kunder och utvecklare