Exploitation de la supervision faible pour l'analyse des vidéos

This research deals with the task of video classification, with a particular focus on action recognition, which is essential for a comprehensive understanding of videos. In the typical scenario, there is a list of semantic categories to be modeled, and example clips are given together with their associated category label, indicating which action of interests happens in that clip. No information is given about where or when the action happens, or why the annotator considered the clip to belong to a sometimes ambiguous category.Within the framework of the bag-of-words representation of videos, we explore how to leverage such weak labels from three points of view: (1) the use of coherent supervision from the earliest stages of the pipeline; (2) the combination of heterogeneous features in nature and scale; and (3) mid-level representations of videos based on regions, so as to increase the ability to discriminate relevant locations in the video. For the quantization of local features, we propose a novel form of supervision to train random forests which explicitly aims at the discriminative power of the resulting bags of words. We show that our forests are better than traditional ones at incorporating contextual elements during quantization, and draw attention to the risk of naive combination of features. We also show that midlevel representations carry complementary information that can improve classification.Moreover, we propose a novel application of video classification to tracking. We show that weak clip labels can be used to classify videos into categories of dynamic models. In this way, we improve tracking by performing classification-based dynamic model selection.Cette thèse porte sur la classification de vidéos -- étape importante du processus plus complet qu’est la compréhension des vidéos -- en se focalisant sur la reconnaissance d'actions. Nous nous plaçons dans le cas où des modèles des catégories sémantiques à reconnaître sont à construire automatiquement à partir de données d’entrainement. Ces données d’entrainement sont des extraits vidéo auxquelles sont associées une ou des catégories. Aucune information n'est fournie quant à la localisation spatio-temporelle de l'action dans la vidéo, ni quand aux éléments indicatifs de la catégorie qui pourrait être ambigüe.Nous explorons trois manières d'exploiter ces annotations faibles dans le cadre des représentations de vidéos dites « sacs à mots » : (1) une supervision cohérente dès les premières étapes du pipeline, (2) la combinaison d'attributs hétérogènes en nature et en échelle, et (3) des représentations intermédiaires basées sur des régions de sorte à identifier des zones pertinentes dans les vidéos. Pour la quantification de descripteurs locaux, nous proposons une nouvelle fonction objective d’entrainement de forêts aléatoires, qui vise à accroitre explicitement la capacité discriminatoire des sacs de mots obtenus. Nos forêts sont plus robustes dans l’incorporation d’éléments de contexte pendant la quantification, et nous limitons les risques qu'engendre la combinaison naïve d’attributs. Nous montrons que les représentations intermédiaires apportent des informations complémentaires qui améliorent la performance des sacs de mots.De plus, nous proposons une nouvelle application de la classification de vidéos dans le contexte du pistage. Nous montrons que des annotations faibles peuvent être utilisées pour classer des vidéos en types de modèle dynamique. Cette sélection de modèle par classification améliore la qualité du pistage