Investigation of a new integration test environment : Facilitating offline debugging of Hardware-in-the-Loop

Advanced automatic testing is very important in development and research within the vehicle industry. Hardware-in-the-loop (HIL) systems give the ability to validate Electronic Control Units (ECUs) based on software simulation without gathering all of the physical hardware. This enables testing by providing inputs and examining the corresponding outputs of the ECUs in a simpler and safer way than in traditional physical testing. HIL offers the advantage that we can verify and validate the functions of ECUs prior to full-scale hardware production. On the contrary, because HIL systems are normally released as general-purpose test beds, it takes time to embed them into the current system. Additionally, the question of how to fill the gap between the HIL and the test environment is even more critical when the test bed is expected to be used for a long period of time without modifications. Furthermore, HIL systems are precious. It is not practical and will be considered as a waste of resource if it is used exclusively by testers. Scania’s RESI group uses Client-Server architecture to make it more flexible. The HIL system is hosted at server side while the testers operate it at client side. This architecture enables different implementations of client and server as long as a same protocol is applied, but this still does not solve the problem that the HIL is not always accessible when the testers want to debug their scripts. The testers want to find a solution to achieve this goal offline (without servers). To solve the problem, we first investigated which programming languages are used in the industry. Without doubt, there is no dominant language that ideally suits all situations, so secondly, we developed a new test environment. The new environment including “Dummy Mode” and “Mat Mode” is able to provide script validation service on basic and logic levels without servers. The result shows the Dummy mode is able to reach a higher detection rate (99.3%) on simple errors comparing to the current environment (81.3%). By reproducing and reusing the result of HIL system, Mat mode is able to identify logic errors and provide better assistance when the logic errors are found. In general, the proposed environment is able to show a better way of using HIL which makes the whole system more efficient and productive.I fordonsindustrin ställs stora krav på avancerad automatiserad testning. För att utvärdera Electronic Control Units (ECUs) används så kallade Hardware-In-the-Loop-system (HIL) för att simulera den omkringliggande hårdvaran. Detta möjliggör enklare samt säkrare testning av ECU-komponenterna än vid traditionell fysisk testning. Med hjälp av HIL kan ECUs testas innan en fullskalig produktion sätts igång. Då HIL-system vanligtvis utvecklas för ett brett användningsområde kan det ta tid att skräddarsy dem för ett specifikt system. Ett annat viktigt problem vi ställs inför är skillnaderna mellan HIL-systemet och testmiljön, då testfallen förväntas att användas en längre tid utan förändringar. Vidare är HIL-system kostsamma. Det anses vara varken praktiskt eller ekonomiskt att låta HIL-system enbart användas av testare. Scanias RESI-grupp använder en klient-server-arkitektur för att åstadkomma flexibilitet HIL-systemet körs på serversidan medan testarna arbetar på klientsidan. Den här typen av arkitektur öppnar upp för olika implementationer på klient- samt serversida, förutsatt att samma kommunikationsprotokoll används. En nackdel med den nuvarande lösningen är att HIL-systemet inte alltid finns tillgängligt när testarna vill felsöka deras programskript. Testarna vill hitta en lösning där det går att utföra felsökningen lokalt, utan tillgång till servrar. För att kunna lösa problemet undersöktes först vilka programmeringsspråk som används inom industrin. Undersökningen visar på att det finns inget programmeringsspråk som är idealt för alla ändamål. Vidare utvecklades en ny testmiljö som tillhandahåller testlägena "Dummy Mode" samt "Mat Mode". Testmiljön kan användas för att validera programskript på grund- och logiknivå utan att kommunicera mot servrar. Resultatet visar att "Dummy Mode" detekterar upp till 99.3% av enklare typ av fel än motsvarande 81.3% i nuvarande testmiljön. Genom att reproducera och återanvända resultat av HIL-systemet kan “Mat Mode” identifiera logikfel samt ge en bättre indikation om vad felen innebär. Generellt sätt kan den föreslagna testmiljön visa på ett bättre användande av HIL, som gör hela systemet mer effektivt och produktivt