Spårning av flera fotgängare i realtid

Multiple object tracking (MOT) is the task of detecting multiple objects in a scene and associating detections over time to form tracks. It is essential for many scene understanding tasks like surveillance, robotics and autonomous driving. Nowadays, the dominating tracking pipeline is to first detect all individual objects in a scene followed by a separate data association step, also known as tracking-by-detection. Recently, methods doing simultaneous detection and tracking has emerged, combining the task of detection and tracking into one single framework. In this project, we analyse performance of multiple object tracking algorithms belonging to both tracking categories. The goal is to examine strengths, weaknesses, and real-time capability of different tracking approaches in order to understand their suitability in different applications. Results show that a tracking-by-detection system with Scaled-YOLOv4 and SORT achieves 46.8% accuracy at over 28 frames per second (FPS) on Nvidia GTX 1080. By reducing the input resolution, inference speed is increased to almost 50 FPS, making it well suitable for real-time application. The addition of a deep re-identification CNN reduces the number of identity switches by 47%. However, association speed drops as low as 14 FPS for densely populated scenes. This indicates that re-identification CNNs may be impractical for safety critical applications like autonomous driving, especially in urban environments. Simultaneous detection and tracking results suggests an increased tracking robustness. The removal of a complex data association strategy improves robustness with respect to extended modules like re-identification. This indicates that the inherent simplicity in the simultaneous detection and tracking paradigm can provide robust baseline trackers for a variety of applications. We note that further research is required to strengthen this notion.Multipel objektspårning handlar om att detektera alla objekt i bilder och associera dem över tid för att bilda spår. Det är ett viktigt ämne inom datorseende för flera applikationer, däribland kameraövervakning, robotik och självkörande fordon. Idag är det dominerande tillvägagångsättet inom objektspårning att först detektera alla objekt och sedan associera dem i ett separat steg, också kallat spårning-genom-detektion. På senare tid har det framkommit nya metoder som detekterar och spårar samtidigt. I detta projekt analyserar vi prestanda av metoder som tillämpar båda tillvägagångssätt. Målet med projektet är att undersöka styrkor, svagheter och hur väl metoderna lämpar sig för att användas i realtid. Detta för att förstå hur olika objektspårare kan anpassas till olika praktiska applikationer. Resultaten visar att ett system som tillämpar spårning-genom-detektion med Scaled-YOLOv4 och SORT, uppnår 46.8% noggrannhet med en hastighet på över 28 bildrutor per sekund. Detta på en Nvidia GTX 1080. Genom att minska bildupplösningen når hastigheten nästan hela vägen upp till 50 bildrutor per sekund, vilket gör systemet väl lämpat för realtidsapplikation. Genom att addera ett djupt nätverk för återidentifiering minskar antalet identitetsbyten med 47%. Samtidigt minskar också hastigheten för spårning till 14 bildrutor per sekund i välbefolkade miljöer. Detta indikerar att djupa nätverk för återidentifiering inte lämpar sig för säkerhetskritiska applikationer såsom självkörande fordon. Särskilt i urbana miljöer. Resultat för system som detekterar och spårar samtidigt antyder att de är mer robusta. Genom att ta bort komplexa strategier för associering blir systemen robusta mot ytterligare moduler såsom återidentifiering. Det ger en indikation på att den inneboende enkelheten i dessa system resulterar i objektspårare som kan fungera som grunder i många olika applikationer. Vi noterar att ytterligare forsking behövs för att styrka denna idé