Auf dem Weg zur robusten Objektsegmentierung in Videosequenzen und deren Anwendungen

Objektsegmentierung ist eines der grundlegenden Probleme in der Bildverarbeitung und Computervision, da sie eine Vorstufe für viele Aufgaben der Objektanalyse und Anwendungen darstellt. Viele Verfahren der Objektanalyse wie zum Beispiel die Objekterkennung sind auf eine genaue Segmentierung der interessanten Objekte angewiesen. Um dies zu Erreichen können verschiedene visuelle Merkmale analysiert werden. Das grundlegende Ziel dieser Dissertation ist die Entwicklung einer robusten Methode fuer die Segmentierung von Objekten in Videos, welche mit einer statischen Kamera aufgenommen wurden. Hierfür untersucht und verbessert diese Arbeit Techniken yu Hintergrundmodellierung und -subtraktion. In einem System zur Objektsegmentierung durchläuft ein Video verschiedene Prozesse bevor das Segmentierungseergebnis der gewünschten Anwendung weitergereicht wird. Jeder dieser Prozesse besityt spezifische Vor- und Nachteile, die die Qualität der Segmentierung verbessern oder verschlechtern können. Das allgemeine System besteht aus drei verschiedenen Prozessen (Vor-, Haupt-, Nachverarbeitung) und verschiedenen Applikationen, die die Bestandteile dieser Dissertation sind. Der erste Teil dieser Dissertation befasst sich mit der Vorverarbeitungsstufe, in der eine hierarchiche Methode zur Hintergrundschätzung vorgestellt wird, um ein zuverlässiges Hintergrundmodell in Anwesenheit von sich bewegenden Objekten zu erstellen. Für die eigentliche Hintergrundsubtraktion werden neun dem Stand der Technik entsprechende Methoden untersucht und miteinander verglichen. Hierbei werden sowohl subjektive als auch objektive Bewertungsmaße verwendet und die individuellen Vor- und Nachteile analysiert und beschrieben. Die daraus gewonnenen Erkenntnisse wurden in eine zuverlässigere Methode zur Hintergrundsubtraktion integriert, welche die invariante Farbbeschreibung des Gaußschen Farbmodels mit einem zeitlichen Konsistenzkriterium kombiniert. Da Reflektionen von Objekten auf glänzenden Böden ein grundlegendes Problem für alle Verfahren der Objektsegmentierung darstellen, wurde eine Methode zur Detektion und Entfernung von Reflektionen als Nachverarbeitungsschritt entwickelt. Dabei wird die visuell Erscheinung und Form des übersegmentierten Objektes analysiert um die Reflektionsgrenye zu finden und die Objektmaske zu adaptieren. Betrachtet man die Bildsegmentierung im allgemeinen, stellt man fest, dass die Evaluierung sehr schwierig und wegen der notwendigen Grundwahrheit sehr zeitaufwendig ist. Basierend auf der entwickelten Hintegrundsubtraktion wird für dieses Problem ein automatisches System zur objektbasierten Evaluierung von Bildsegmentierungsverfahren vorgestellt. Dabei wird die Grundwahrheit automatisch durch die Objektsegmentierung generiert und mit dem Ergebnis der Bildsegmentierung veglichen. Im Vergleich zur manuell generierten Grundwahrheit werden die Evaluierungsergebnisse nur gering beeinflusst. Das entwickelte System zur Objektsegmentierung wurde in einigen Anwendungen eingsetzt, um seine Vielseitigkeit zu testen. Bei der ersten Anwendung handelt es sich um ein System zur visuellen Überwachung, welches Personen detektiert, verfolgt und anhand ihrer visuellen Erscheinung identifiziert. Durch die Kombination von Video- und Audioanalyse wurde das System zur multimodalen Überwachung erweitert. Durch die multimodale Fusion, in der meistens das Audio dem Video zur Hilfe steht, werden bessere Ergbenisse erzielt. Die dritte Anwendung ist ein System zur automatischen Analyse von Fußballspielen. Dabei werden die Spieler mit Hilfe von acht Kameras auf dem Spielfeld detektiert, verfolgt und den jeweiligen Teams zugeordnet. Die extrahierten Informationen werden verwendet um eine vereinfachte Darstellung des Spielgeschehens für portable Geräte oder taktische Analzsen zu generieren. In der letzten Anwendung wird ein System für die Mensch-Maschine-Interaktion realisiert. Es analysiert die Erscheinung und der Bewegung einer Person um diese zu identifizieren und ihre Gesten zu intepretieren. Das System wurde für das Szenario eines intelligenten Geldautomaten getestet.Object segmentation is one of the fundamental challenges in image processing and computer vision since it is the preliminary step for many object analysis tasks and applications. Object analysis such as object recognition often requires that objects of interests are well segmented. Different visual cues such as color, texture, and motion can be exploited to achieve an accurate object segmentation. The primary goal of this thesis is to develop a robust object segmentation method for videos acquired from static cameras typically used in surveillance applications. Therefore, it explores and improves background modeling and subtraction techniques. In an object segmentation framework, a video goes through different processing stages before being used for the final application, and each stage of processing may have its advantages and drawbacks that could increase or reduce the quality of the object segmentation. The general object segmentation framework consists of the three processing stages (pre-, main-, and post-processing) and an application part. The first part of the dissertation deals the pre-processing stage in which a new hierarchical background estimation method is proposed to create a reliable background model even in the presence of moving objects. For the main-processing stage the thesis explores and compares nine state-of-the-art methods using subjective and objective evaluation measures. The advantages and disadvantages of the different methods are analyzed and discussed. Based on that, the most promising ideas are adopted for a more reliable background subtraction method. It combines the invariant color description of a Gaussian color model (GCM) with a temporal consistency criterion. Since reflections of an object on the ground are a major challenge for any object segmentation approach, a reflection detection and removal method is proposed for the post-processing stage. It analyzes the appearance of the over-segmented object to detect the reflection boundary and adapt the object mask accordingly. Considering image segmentation in general, its evaluation is very difficult and time consuming due to required ground truth data. Therefore, a new framework for figure-ground image segmentation evaluation is proposed to compare different image segmentation approaches automatically. It is shown that the results with automatically generated ground truth data using object segmentation methods and manual generated ground truth data are comparable by considering objective criteria which are similar to the subjective assessments. The developed object segmentation framework has been used in several applications to prove its versatility. The first application that has been developed is a visual surveillance system which detects, tracks, and identifies persons by their visual appearances. It has been extended into a multimodal surveillance system by also considering audio information. A high performance is achieved through multimodal fusion where mostly audio assists the video. The third application is an original system for soccer analysis where eight cameras are used to detect and track the players on the field and to identify their team memberships. The obtained information are used to generate a simplified view of the game suitable for portable devices or tactical analysis. Finally, a personalized human computer interface, that detects, tracks and identifies persons and recognizes their gestures being used in an intelligent cash machine scenario, has been developed based on the combination of visual appearance and motion based analysis