Detection of Normal/Abnormal Driver Behaviour

Diplomová práce se zabývá úlohou detekce abnormálního chování řidiče automobilu. Výstupem práce je zkoumání, zda-li a do jaké míry je možné úspěšně detekovat anomálie v chování osoby, která řídí automobil. Zaměřil jsem se na využití rekurentních neuronových sítí, primárně LSTM (Long short-term memory) a GRU (Gated Recurrent Unit). Neuronové sítě jsem modifikoval různými způsoby, např. změnou příznaků, změnou délky vstupních a výstupních vektorů, či změnou vnitřní struktury sítě. Příznaky používané pro učení neuronových sítí jsou odvozeny z kostry člověka pomocí knihovny OpenPose. K práci je přiložen software vytvořený v programovacích jazycích C++ a Python. Pomocí jazyka C++ a použitím knihoven OpenCV a OpenPose implementuji práci s videozáznamem - extrahuji příznaky pro neuronové sítě a modifikuji původní záznam pro vyobrazení detekovaných anomálií. A pomocí jazyka Python s využitím platformy TensorFlow a knihovny Keras implementuji neuronové sítě - to zahrnuje predikci časové řady a samotnou detekci anomálií.This diploma thesis focuses on detection of abnormal car driver behavior. The goal of the thesis is to investigate whether and to what extent it is possible to successfully detect anomalies in the behavior of a person driving a car. For these purposes, recurrent neural networks were used - primarily LSTM (Long short-term memory) - and modified in various ways (e.g. by changing features, changing the length of input and output vectors, and changing the internal network structure). Features used for neural network learning were based on human skeleton by using OpenPose library. Attached is a software created in programming languages C++ and Python. C++ libraries OpenCV and OpenPose were used for video-analysis – To extract features for the neural network and modify the original video to show detected anomalies. Python platform TensorFlow and library Keras were then used to implement neural networks for time series prediction and anomaly detection.460 - Katedra informatikyvýborn