Deep Active Learning of Object Detection for Smart City

Deep learning networks are nowadays a major asset for smart city applications and brand new technologies. It is well known that deep learning methods require a great amount of data to have good performance, especially for safety-critical applications such as autonomous driving. Therefore reducing the expensive and time-consuming labelling task done by human annotators is a hot topic. Being one of the most promising candidates to solve this problem, active learning aims to reduce drastically the number of samples to annotate for the learning process. In this work, we focus on the design of an active learning strategy in the specific context of object detection in videos. Besides traditional criteria of sampling, the queries are evaluated based on the temporal coherence of the network’s predictions. Introduced very recently, this characteristic has proven itself to be efficient for evaluating the informativeness of data points. Introducing Temporal Flow, we tested our sampling strategy against the state of the art methods and outperformed them on a benchmark dataset. Indeed, our active learning showed better average performance per labelled samples after each cycle of training. The promising results are encouraging to pursue the effort done in active learning for object detection in videos. A real implementation of this work is feasible but also more research can follow as we acknowledge that further improvements are possible.Djupinlärning är idag en viktig tillgång för tillämpningar i den smarta staden och annan ny teknik. Det är välkänt att djupa inlärningsmetoder kräver stora mängder data för att uppnå bra prestanda, särskilt för säkerhetskritiska applikationer som autonom körning. Att försöka minska mängden dyr och tidskrävande annotering som utförs av människor är ett hett ämne. En av de mest lovande kandidaterna för att lösa detta problem är aktiv inlärning. I detta arbete fokuserar vi på utformningen av en strategi för aktiv inlärning i ett specifikt sammanhang, detektion av objekt i video. Förutom traditionella kriterier för sampling, utvärderas den temporära koherensen i nätverkets förutsägelser. Denna nyligen introducerade egenskap har visat sig vara effektiv för att utvärdera informationsinnehållet hos datapunkter. Detta arbete introducerar vår metod Temporal Flow. Vi testade vår samplingsstrategi mot de modernaste metoderna och överträffade dem vid jämförelse på ett benchmarking-dataset. Resultaten uppmuntrar en fortsättning av ansträngningarna som gjorts i aktiv inlärning för objektdetektering i videor.Les réseaux de neurones sont aujourd’hui un atout majeur pour les applications en Smart City et autres nouvelles technologies. Il est bien connu que ces méthodes nécessitent une grande quantité de données pour avoir de bonnes performances, notamment en matière de sécurité pour des applications critiques telles que la conduite autonome. Par conséquent, la réduction de la longue et coûteuse tâche d’annotation effectuée par les annotateurs humains est un sujet de recherche prisé. Étant l’un des candidats les plus prometteurs pour pallier à cela, l’active learning vise à réduire considérablement le nombre d’échantillons à annoter pour le processus d’apprentissage. Dans ce travail, nous nous concentrons sur la conception d’une stratégie d’active learning dans le contexte spécifique de la détection d’objets dans les vidéos. Outre les critères traditionnels d’échantillonnage, les requêtes évaluent la cohérence temporelle des prédictions. Introduite très récemment, cette caractéristique s’est révélée efficace pour évaluer le caractère informatif des points de données. En introduisant Temporal Flow, nous avons testé notre stratégie d’échantillonnage par rapport aux méthodes faisant état de l’art et les avons surpassé sur un dataset de référence. Les résultats prometteurs sont encourageants pour poursuivre l’effort entrepris en active learning pour la détection d’objets dans les vidéos. Une véritable mise en oeuvre de ce travail est faisable, mais des recherches plus avancées peuvent également suivre, comme nous reconnaissons que des améliorations peuvent être apportées