Sensor fusion for detection and classification of vehicle impacts

Dissertação de mestrado em Informatics EngineeringThis thesis was developed as part of a curricular internship at Bosch Car Multimédia SA, in collaboration with the University of Minho, More specifically, an exploratory research thesis aligned with an R&D project that is being developed internally and whose objective is to detect impacts on vehicles that cause damage based on data obtained through sensors, The usefulness of the work developed in this thesis and the project in which it is inserted, in a real context, would be to help vehicle rental companies and car-sharing services to better monitor the conditions of vehicles in their fleets, This would be achieved by placing a device in vehicles that continuously monitored their status, reducing the need for validation and human interaction after use, The main focus of this thesis was to explore how the fusion of information from different sensors could improve the decision-rnaking capabilities of a system whose purpose is to determine whether impacts on the exterior of a vehicle, captured with a set of sensors, resulted in damage, This conjugation of sensory information is known as sensor fusion. ft is a process of combining information from different homogeneous and heterogeneous sensors to obtain a better representation of what is being observed, The approach chosen to achieve this goal consisted of training a set of Machine Learning (ML) algorithms with two distinct datasets, one based only on one data source and the other multiple sources combined. Each pair of models was further evaluated on unseen data, and their performances were compared based on the va lues obtained, Based on the results obtained, it can be said that the application of sensor fusion allowed for better learning by the models, which led to greater robustness in data never seen before. Of the four chosen algorithms, XGBoost, Random Forest (RF), Support Vector Machine (SVM), and Artificial Neural Network (ANN), all had at least one of the evaluation metrics, the Matthews Correlation Coefficient (MCC) and number of False Positive (FP)s in the test set, superior in model-based fused data. Of these, XGBoost and ANN stand out where the results were significantly better in both metrics,Esta tese foi desenvolvida no âmbito de um estágio curricular na Bosch Car Multimédia S.A, em colabo-ração com a Universidade do Minho. Mais concretamente, uma tese de pesquisa exploratória alinhada com um projeto de P&D que está a ser desenvolvido internamente e cujo objetivo é detetar impactos em veículos que causam dano com base em dados obtidos através de sensores, A utilidade do trabalho desenvolvido nesta tese e do projeto no qual está inserido, num contexto real, seria auxiliar empresas de aluguer de veículos e serviços de car-sharing a melhor monitorizarem as condições dos veículos das suas frotas. Isto seria conseguido colocando um dispositivo nos veículos que continuamente monitorizava o seu estado reduzindo a necessidade de validação e interação humana após a sua utlização, O foco principal desta tese foi explorar de que forma a fusão de informação proveniente de diferentes sensores conseguiria melhorar as capacidades de tomada de decisão de um sistema cujo propósito é determinar se impactos no exterior de um veiculo, capturados com um conjunto de sensores, resultaram em dano. Esta conjugação de informação sensorial é conhecida por fusão sensorial. É um processo de combinar informação de diferentes sensores homogéneos e hetogénos para obter uma melhor representa-ção do que está a ser observado, A abordagem escolhida para alcançar este objetivo consistiu em treinar um conjunto de algoritmos de ML com dois datasets distintos, um baseado apenas numa fonte de dados e o outro várias fontes, Cada par de modelos foi posteriormente avaliado em dados nunca antes vistos, e as suas performances foram comparadas com base nos valores obtidos, Com base nos resultados obtidos, pode ser dito que a aplicação de fusão sensorial permitiu a uma melhor aprendizagem por parte dos modelos o que levou a uma maior robustez em dados não vistos. Dos quatro algoritmos ecolhidos, XGBoost, RF, SVM e ANN, todos tiveram pelo menos uma das métricas de avaliação, MCC e número de FPs no dataset de teste, superior no modelo baseado fusão sensorial. Destes, destancam-se o XGBoost e ANN onde os resultados foram significavente melhores em ambas as métricas