Konstruktion av verifikationsdatabas och extrahering av kritiska scenarier för testning av självkörande bilar på virtuell plattform

This degree project, conducted at Volvo Cars, investigates a method about how to build a test database for an Autonomous Driving (AD) function on a virtual platform and how to extract critical scenarios from the test database to finish test cases reduction through optimization. The virtual platform under study is the model-in-the-loop (MIL) based Simulation Platform Active Safety (SPAS) environment and the optimization tool being used is modeFrontier. The analyzing process, in which three levels of abstraction for scenarios are proposed in order to fulfill all requirements for an AD function, is followed in the project to build the test database. Application is carried out to transform requirements from a specific Operational Design Domain (ODD) and linguistic representation into a test suite which contains concrete scenarios and test cases. A meta-model is built to help analyze system structure and parameter requirements in the level of logical scenarios. The practicability of a scenario-based approach for the design of AD function test cases generation is demonstrated with the example of building Traffic Congestion Support (TCS) test database. Obtaining the test database and the successful analysis of parameters for the TCS function on the MIL platform lead to the main goal of the thesis project, which is finding edge cases in the test database by optimizing objective functions. By defining the objective functions and building the workflow in modeFrontier after trying with different methods, the optimization process is implemented with two different algorithms separately. pilOPT is evaluated as a better solution for AD function than Multi-Objective Simulated Annealing (MOSA) in terms of computational time and edge cases finding. In addition, a noise model is added to ideal sensor model in SPAS to study the influence of noise in real test track. The result shows a big difference in Time-toCollision value, which is a defined objective function in the project. This indicates more test cases are deteriorated to critical scenario if noise is taken into consideration, which shows the influence of noise cannot be neglected during testing.Detta examensarbete, genomfört hos Volvo Cars, undersöker en uppbyggnadsmetod av en testdatabas för Autonomous Driving (AD) på en virtuell plattform och hur man bör extrahera kritiska scenarier från testdatabasen för att reducera antalet testfall genom optimering. Den aktuella virtuella plattformen är den model-in-the-loop (MIL) baserade Simulation Platform Active Safety (SPAS) miljön och optimeringsverktyget som användes är modeFrontier. Analysprocessen, i vilken tre abstraktionsnivåer för scenarier är föreslagna i syfte att satisfiera alla kraven för AD, redogörs för i detta projekt. Tillämpning har genomförts för att transformera krav från en specifik Operational Design Domain (ODD) samt lingvistisk representation till en testsvit som innehåller konkreta scenarier och testfall. En metamodell har konstruerats för att assistera med analysen av systemstrukturen och parameterkraven i nivån av logiska scenarier. Genomförbarheten av en scenariobaserad infallsvinkel för designen av AKF-testfall demonstreras med exemplet av konstruktionen av Traffic Congestion Support (TCS)- testdatabasen. Erhållandet av testdatabasen och den framgångsrika analysen av parametrarna för TCSfunktionen på MIL-plattformen ledde till det huvudsakliga målet med examenarbetet, vilket var att identifiera kantfall i testdatabasen genom att optimera objektfunktioner. Genom att definiera objektfunktionerna och konstruera arbetsflödet i modeFrontier efter flertalet försök med olika metoder, implementerades optimeringsprocessen med tvåseparata algoritmer. pilOPT evalueras som en bättre lösning för AD jämfört med Multi-Objective Simulated Annealing (MOSA) med avseende på beräkningstid och identifiering av kantfall. Dessutom har brus adderats till den ideala sensormodellen i SPAS för att studera inflytandet av brus i en verklig testmiljö. Resultaten visar på en stor skillnad i tid-till-kollisionsvärde, vilket är en väldefinierad objektfunktion i projektet. Detta indikerar att fler testfall har försämrats till ett kritiskt scenario om brus tas man tar hänsyn till brus, vilket visar på att inflytandet av brus inte kan försummas under testning