Safety of Machine Learning Systems in Autonomous Driving

Machine Learning, and in particular Deep Learning, are extremely capable tools for solving problems which are difficult, or intractable to tackle analytically. Application areas include pattern recognition, computer vision, speech and natural language processing. With the automotive industry aiming for increasing amount of automation in driving, the problems to solve become increasingly complex, which appeals to the use of supervised learning methods from Machine Learning and Deep Learning. With this approach, solutions to the problems are learned implicitly from training data, and inspecting their correctness is not possible directly. This presents concerns when the resulting systems are used to support safety-critical functions, as is the case with autonomous driving of automotive vehicles. This thesis studies the safety concerns related to learning systems within autonomous driving and applies a safety monitoring approach to a collision avoidance scenario. Experiments are performed using a simulated environment, with a deep learning system supporting perception for vehicle control, and a safety monitor for collision avoidance. The related operational situations and safety constraints are studied for an autonomous driving function, with potential faults in the learning system introduced and examined. Also, an example is considered for a measure that indicates trustworthiness of the learning system during operation.Maskininlärning, och i synnerhet deep learning, är extremt kapabla verktyg för att lösa problem som är svåra, eller omöjliga att hantera analytiskt. Applikationsområden inkluderar mönsterigenkänning, datorseende, tal‐ och språkförståelse. När utvecklingen inom bilindustrin går mot en ökad grad av automatisering, blir problemen som måste lösas alltmer komplexa, vilket har lett till ett ökat användande av metoder från maskininlärning och deep learning. Med detta tillvägagångssätt lär sig systemet lösningen till ett problem implicit från träningsdata och man kan inte direkt utvärdera lösningens korrekthet. Detta innebär problem när systemet i fråga är del av en säkerhetskritisk funktion, vilket är fallet för självkörande fordon. Detta examensarbete behandlar säkerhetsaspekter relaterade till maskininlärningssystem i autonoma fordon och applicerar en safety monitoring‐metodik på en kollisionsundvikningsfunktion. Simuleringar utförs, med ett deep learning‐system som del av systemet för perception, som ger underlag för styrningen av fordonet, samt en safety monitor för kollisionsundvikning. De relaterade operationella situationerna och säkerhetsvillkoren studeras för en autonom körnings‐funktion, där potentiella fel i det lärande systemet introduceras och utvärderas. Vidare introduceras ett förslag på ett mått på trovärdighet hos det lärande systemet under drift.