Anomaly detection and object tracking by future prediction using generative methods for transportation

Actuellement, le traitement automatiquement des problèmes de transport devient un sujet actif. Dans le cadre de ce travail, nous visons à relever un défi spécifique dans ce domaine : la détection et le suivi des anomalies. Notre objectif est de construire un système flexible et efficace produisant des performances élevées sur diverses bases de données publiques. Le contexte de notre recherche est l'amélioration des approches précédentes réussies pour obtenir de meilleurs résultats. Notre première recherche vise à l'évaluation des performances de l'approche générative classique pour les prévisions et la détermination de ses capacités à améliorer la segmentation et le suivi d'objets. L'absence d'informations visuelles du tracker IOU combinée avec les possibles défaillances des détecteurs créent des trajectoires fragmentées. Nous proposons alors un tracker amélioré basé sur la détection par suivi et sur l'estimation du flux optique. Notre solution génère de nouvelles détections ou segmentations basées sur une translation temporelle en avant et en arrière des résultats des détecteurs CNNs en utilisant les vecteurs de flot optique. Cette étape permet de combler une première partie des lacunes des trajectoires. Les lacunes résiduelles au sein des trajectoires sont traitées en utilisant des caractéristiques SURF. La base de données DAVIS est utilisée pour évaluer la meilleure façon de générer de nouvelles détections. Enfin, le tracker résultant est testé sur la base de données DETRAC. Les résultats qualitatifs montrent que notre solution a obtenu des performances stables avec différentes méthodes d'estimation du flot optique et a diminué très significativement la fragmentation des trajectoires. Pour les travaux futurs associés à ce tracker, nous prévoyons d'appliquer les réseaux CGAN développés dans le cadre de la seconde partie de notre travail. Malgré les résultats tangibles de cette première approche, les méthodes classiques présentent des limitations importantes concernant la détection d'anomalies qui est l'un de nos objectifs principaux. La fréquence plus faible des événements anormaux donne un scénario déséquilibré et leurs caractéristiques ne suivent généralement aucune relation spatiale ou temporelle. Face à ces défis, d'une part, nous proposons un cadre multicanal flexible pour générer des caractéristiques multitypes au niveau image. D'autre part, nous étudions la possibilité d'améliorer les performances de détection par un apprentissage supervisé. Notre système est ainsi basé sur quatre GAN conditionnels (CGAN) prenant en entrée différents types d'informations d'apparence et de mouvement et produisant des informations de prédiction. Ces CGAN représentent la distinction entre événements normaux et anormaux. Ensuite, la différence entre les informations générées et les vérité-terrains est encodée par le pic du rapport signal / bruit (PSNR). Nous classons alors ces caractéristiques dans un contexte supervisé en construisant un petit ensemble d'entrainement à partir de quelques échantillons anormaux de l'ensemble de test original. C'est un Séparateur à Vaste Marge (SVM) qui est appliquée pour la détection des anomalies au niveau trame. Enfin, nous utilisons Mask R-CNN comme détecteur pour effectuer la localisation d'anomalies centrées objet. Notre solution est largement évaluée sur les bases de données Avenue, Ped1, Ped2 et ShanghaiTech. Nos résultats démontrent que les caractéristiques de PSNR combinées avec le SVM supervisé sont meilleures que les cartes d'erreurs calculées par les méthodes précédentes. En particulier, pour la base de données la plus difficile qu'est Shanghaitech, notre modèle surpasse jusqu'à 9% l'état-de-l'art des méthodes non-supervisées. En perspective, nous prévoyons de construire une base de données pour la détection d'anomalies dans un cadre semi-supervisé, et d'intégrer un classifieur one-class SVM pour proposer un système "de bout en bout".Today, automatic solving transportation problems becomes active subject. In our PhD project, we aim to address a specific challenge in this domain: anomaly detection and tracking. Our ultimate goal is constructing a flexible and effective framework producing high performance on various public datasets. The context of our research is applying and improving previous successful approaches to achieve better results. Our first research is evaluating the performance of classical hand-crafted generative approach in future prediction and its capability for improving segmentation and tracking. In contrast, the lack of visual information of IOU tracker combined with the failure detections of Mask R-CNNs detectors create fragmented trajectories. We propose an enhanced tracker based on tracking by-detection and optical flow estimation in vehicle tracking scenarios. Our solution generates new detections or segmentations based on translating backward and forward results of CNNs detectors by optical flow vectors. This task can fill in the gaps of trajectories. Then we match generated results with fragmented trajectories by SURF features. DAVIS dataset is used for evaluating the best way to generate new detections. Finally, the entire process is tested on DETRAC dataset. The qualitative results show that our solution achieved stable performance with different types of flow estimation methods and significantly improved the fragmented trajectories. For future work, we plan to apply CGANs streams of second work for the first task to propose a new competitive process of future prediction for segmentation and tracking. Despite the moderate success of the first work, there is significant limitations of classical approaches to deal with our main task: anomaly detection. Facing to those challenge, in this thesis, our contributions are two-fold. On the one hand, we propose a flexible multichannel framework to generate multi-type frame-level features. On the other hand, we study how it is possible to improve the detection performance by supervised learning. The multi-channel framework is based on four Conditional GANs (CGANs) taking various types of appearance and motion information as input and producing prediction information as output. These CGANs provide a better feature space to represent the distinction between normal and abnormal events. Then, the difference between those generative and ground-truth pieces of information is encoded by Peak Signal-to Noise Ratio (PSNR). We propose to classify those features in a classical supervised scenario by building a small training set with some abnormal samples of the original test set of the dataset. The binary Support Vector Machine (SVM) is applied for frame-level anomaly detection. Finally, we use Mask R-CNN as a detector to perform object-centric anomaly localization. Our solution is largely evaluated on Avenue, Ped1, Ped2 and ShanghaiTech datasets. Our experiment results demonstrate that PSNR features combined with supervised SVM are better than error maps computed by previous methods. We achieve SOTA performance for frame-level AUC on Avenue, Ped1 and ShanghaiTech. Especially, for the most challenging Shanghaitech dataset, a supervised training model outperforms up to 9% the SOTA on unsupervised strategy. Furthermore, we keep in progress several promising ways: building a new dataset for semi-supervised anomaly detection containing both normal and abnormal samples in its training set and applying one-class SVM to propose an end-to-end framewor