Concomitance detection analysis for interactive navigation in large video collections

Qu'il s'agisse de la caméra d'un smartphone ou d'une caméra de surveillance, les dispositifs d'enregistrement vidéo sont de plus en plus répandus et les quantités de vidéos disponibles ne cessent de croître. Cette surabondance de données disponibles est une épée à double tranchant : plus les vidéos de la scène dont on dispose sont nombreuses et variées, plus elles offrent une information riche et complète, mais plus elles nécessitent de temps pour être traitées. Dans de nombreuses applications, comme par exemple une enquête policière, les premières heures d’investigation sont décisives. Or la visualisation exhaustive de toutes les vidéos par un opérateur humain est une tâche pénible, peu efficace, longue et coûteuse. Cette thèse propose d'explorer plusieurs pistes dans le but d’automatiser la recherche d’information dans des vidéos. Plus précisément, nous cherchons à identifier parmi une collection de vidéos celles issues de caméras présentant un recouvrement partiel de leurs champs de vue. Pour réaliser cette tâche, nous avons également mis en oeuvre une méthode de navigation interactive entre les vidéos. Ainsi, dans ce contexte, trois contributions principales sont apportées. Tout d'abord, nous proposons une méthode permettant de déterminer quelles vidéos ont leurs champs de vue qui se recouvrent et offrent ainsi différents points de vue d'un même endroit. Pour ce faire, nous détectons la présence d'objets dans les vidéos au cours du temps, les caractérisons par une catégorie et une apparence et regroupons les vidéos qui présentent de façon concomitante des objets de même catégorie aux apparences similaires. Cependant, il arrive que des objets aient des apparences similaires bien qu'ils soient issus de paires de caméras dont les champs de vue ne se croisent pas, ce qui cause des erreurs dans les groupements de vidéos. Pour y remédier, nous proposons un mécanisme d'apprentissage actif, où le programme peut solliciter l'opérateur sur des cas difficiles pour apprendre à trouver les groupements de caméras qui présentent du recouvrement dans leurs champs de vue. Nous enrichissons également les critères employés en considérant l'arrière-plan en plus des objets apparaissant dans la vidéo. Nous montrons que les groupements de vidéos obtenus par la coopération entre l'homme et la machine sont meilleurs que ceux obtenus via notre approche précédente, entièrement automatisée. Enfin, nous proposons une méthode de navigation au sein d'un groupe de vidéos observant un même endroit. Depuis une vidéo courante, l'approche proposée permet aux utilisateurs de tracer une trajectoire requête et les redirige vers une autre vidéo dans laquelle cette trajectoire est plus longue, plus détaillée et donc mieux observable. Nous apprenons pour cela des cartes de correspondances entre régions de chaque vidéo et les utilisons pour reformuler la trajectoire tracée par l'utilisateur en son équivalent dans les autres vues. Afin de valider nos approches, nous identifions plusieurs jeux de données pertinents dans notre contexte. Cependant, le nombre de caméras dont les champs de vue se recouvrent est généralement limité. Nous proposons donc un jeu de données multivues que nous avons annoté et qui contient 25 caméras disposées sur un campus universitaire dont 19 présentent du recouvrement. Les résultats obtenus au travers de nos trois contributions sont encourageants.Video recording devices are becoming more and more common, and the amount of video available keeps on growing. This huge amount of available data is a double-edged sword: the more videos of the scene are available, the richer and more complete the information, but the longer it takes to process them. In some applications, such as a criminal investigation, the first few hours are crucial, and the exhaustive viewing of all the videos by a human operator is a tedious, unefficient, long and costly task. This thesis proposes to explore several directions in order to automate video analysis processing. For this purpose, we also introduce navigation strategies between different videos. Thus, we propose three main contributions. First of all, we introduce a method for determining which videos share overlap in their fields of view, and consequently offer different viewpoints of the same location. In order to do so, we detect the objects in the videos over time, describe them by a category and an appearance, and group videos containing concomitant detections of objects of the same category with similar appearances. However, some objects can have similar appearances even between pairs of cameras with non overlapping fields of view, which leads to errors in the video clusters. To solve this, we propose an active learning mechanism, in which the program can ask the operator for difficult cases to learn finding groups of cameras with overlapping fields of view. We also enrich the criteria used by considering the background in addition to the objects appearing in the video. We show that video clusters found by the cooperation between a human and the machine are better than those obtained through our previous fully automated approach. Finally, we provide a method for navigating within a group of videos that are looking at the same place. From a current video, the proposed approach allows users to trace a requested trajectory and redirects them to another video in which this trajectory is longer, more detailed, and therefore more observable. To this end, we learn correspondence maps between regions of each video, and use them to reformulate the trajectory drawn by the user into its equivalent in the other views. In order to validate our approaches, we identify several data sets that are relevant in our context. However, the number of cameras with overlapping fields of view is generally limited. We therefore propose a multi-view data set that we have annotated and which contains 25 cameras located on a university campus, 19 of which have overlapping fields of view. The results obtained through our three contributions are encouraging