Multi-object tracking based on tracklets in a camera network

Aujourd’hui, les caméras envahissent notre vie, elles sont de plus en plus utilisées dans plusieurs domaines et elles sont installées partout dans des milieux publics et privés, et plus particulièrement dans le contexte de vidéo-surveillance afin d’identifier des personnes ou des véhicules pas seulement par une caméra mais par le réseau entier. L’exploitation des données provenant d’un réseau de caméras devient une nécessité de nos jours pour faire face à des problèmes de sécurité ou même de simple contrôle. Ces systèmes de vision qui peuvent être basés sur des algorithmes d’intelligence artificielle présentent des défis d’actualité. Cette thèse s’inscrit dans le contexte du suivi multi-objets et s’intéresse à la réidentification dans un réseau de caméras. Cette dernière consiste à déterminer la position d’un objet par rapport au champ de vue de chaque caméra. Ce défi devient particulièrement difficile face au changement de l’apparence de l’objet d’une caméra à une autre, la variation de luminosité, l’angle de vue... L’objectif de cette thèse est de proposer une solution fiable afin de réidentifier des objets dans un réseau de caméras assurant une robustesse aux différentes complexités de la réidentification.Dans ce cadre, nous proposons d’exploiter l’historique de l’objet détecté et former un ensemble de noeuds de détection que nous avons appelé « tracklet ». Il s’agit d’une nouvelle approche inspirée des différents travaux de l’état d’art. Nos contributions basées sur des tracklets proposées durant cette thèse touche deux phases : le suivi dans une caméra et la réidentification dans un réseau de caméras. Afin d’optimiser les performances des algorithmes de suivi et de réidentification, il est nécessaire de disposer d’un système de détection fiable. Dans la littérature, les réseaux de neurones convolutifs (CNN) ont eu beaucoup de succès dans la détection multi-objets. Nous avons utilisé une méthode d’apprentissage profond afin de détecter des objets. Bien que cette méthode présente un taux de détection élevé, elle présente aussi un nombre de faux positifs et des faux négatifs surtout lorsque la base de test est différente de la base d’apprentissage. Ce qui nous amené à proposer notre originalité de suivi à base de tracklet qui permet de corriger les défauts de détection et améliorer la qualité de suivi. En fait, notre stratégie se base d’abord sur la construction des tracklets à bases des détections par une comparaison de signature, puis de construire des trajectoires à partir de l’association des tracklets. Cependant, ces trajectoires peuvent présenter des coupures dues à la non-détection. Une étape de mise à jour permet de les combler grâce à un processus d’interpolation qui reconstitue les objets non détectés.Quant à la réidentification, nos contributions se manifestent d’une part dans l’augmentation du volume des données d’apprentissage. En fait, le réseau de neurones qui effectue la réidentification d’une trajectoire dans chaque caméra nécessite, pour son entraînement, un volume important de données. Il se peut que pour certaines caméras ce volume soit trop faible d’où la nécessité de régénérer d’autres données. Notre contribution est de générer des nouveaux échantillons à partir des tracklets détectées dans une autre caméra par un auto-encodeur (GAN). Ce qui nous permet de ne transférer que des vrais positifs d’une façon automatique sans vérification. Au niveau du détecteur dans la ré-identification, les objets sont décrits par parties, ce qui permet de les reconnaître par la suite même s’ils n’apparaissent pas complètement dans une autre caméra. D’autre part, notre contribution se manifeste dans la comparaison des tracklets issues des différentes caméras du réseau. Les améliorations proposées ont été évaluées sur des bases publiques et privées. Les résultats atteints par nos approches montrent des performances comparables à celles des systèmes existants.AbstractToday, cameras invade our life, they are more and more used in several fields and they are installed everywhere in public and private environments. Particularly, in the context of video surveillance in order to identify people or vehicles not only by a camera but by the network. Data exploitation from a camera network becomes a necessity nowadays to face security problems or even simple inspection. These vision systems, which can be based on artificial intelligence algorithms, present actual challenges. This PhD deals with multi-object tracking and focuses on re-identification in a network of cameras. The challenge is to determine the position of an object relative to the field of view of each camera. This challenge becomes particularly complex due to the change of object appearance from one camera to another, the variation of luminosity, the angle of view... The objective of this work is to propose a reliable solution to re-identify objects in a network of cameras ensuring a robustness to the different complexities of re-identification.In this context, we propose to exploit the history of the detected object and to form a set of detection nodes which we called "tracklet". This is a new approach inspired by variousworks in the state of the art.Our contributions based on tracklets proposed during this PhD covers two phases : tracking in a camera and re-identification in a network of cameras. In order to optimize the performance of tracking and reidentification algorithms, a trusted detection system is needed. In the literature, convolutional neural networks (CNNs) have been very successful in multi-object detection. We used a deep learning method to detect objects. Although this method has a high detection rate, it also has a number of false positives and false negatives especially when the test base is different from the training base. This led us to propose our original tracklet-based tracking method which allows to correct the detection defects and improve the tracking quality. In fact, our strategy is based first on the construction of tracklets based on detections by a signature comparison, then to build trajectories fromthe association of tracklets.However, these trajectories can present breaks due to non-detections. An update step allows to fill them thanks to an interpolation process that reconstitutes the non-detected objects.As for the reidentification, our contributions are manifested on the one hand in the increase of the volume of training data. In fact, the neural network that performs the reidentification of a trajectory in each camera requires, for its training, a large volume of data. It is possible that for some cameras this volume is too small, hence the need to regenerate other data. Our contribution is to generate new samples from tracklets detected in another camera by an auto-encoder (GAN). This allows us to transfer only true positives in an automatic way without verification. At the level of the detector in the re-identification, the objects are described by parts, which makes it possible to recognize them afterwards even if they do not appear completely in another camera. On the other hand, our contribution is manifested in the comparison of tracklets from the different cameras of the network. The proposed improvements have been evaluated on a public basis. The results achieved by our approaches show performances comparable to those of existing systems