Visuelle Klassifikation von digitalen Videoströmen zur automatischen Metadatenextraktion

Der Zuwachs von multimedialen Dokumenten lässt sich nur mit Content-Management-Systemen bewältigen. Die Art und Weise, wie man Informationen in solchen Dokumenten effizient erschließt, sucht und findet, muss jedoch neu überdacht werden. Multimediale Objekte bestehen aus abstrakten Daten, die im Wesentlichen die Signale eines technischen Sensorsystems repräsentieren. Diese Sensorinformationen können aber nicht unmittelbar vom Menschen interpretiert werden. Deshalb wurde mit dem Metadaten-Standard MPEG-7 eine einheitliche Beschreibungssprache für Mediendaten zur Verfügung gestellt, aber für eine semantisch sinnvolle Beschreibung der Dokumente ist heutzutage immer noch die sehr zeitaufwendige und kostenintensive manuelle Annotierung notwendig. Im Rahmen des vom BMBF geförderten Fraunhofer-Verbundprojekts PiAVlda wurden verschiedene Verfahren und Ansätze zur automatisierten Erschließung, Segmentierung und Klassifizierung von multimedialen Datenströmen (Text, Audio, Video/TV/Film) entwickelt. Darunter befindet sich ein neues Verfahren zur automatischen Klassifikation von visuellen Datenströmen in semantisch sinnvolle Kategorien, das am Beispiel von aufgezeichneten Nachrichtensendungen und den IPTC-Klassen (Politik, Wirtschaft, Arbeit, Justiz, Werbung, usw.) erprobt wurde. Das Verfahren basiert auf MPEG-7-kompatiblen syntaktischen und semiotischen Audio-, Video- und Sprachmerkmalen, die automatisch aus den Videoströmen extrahiert und dem Klassifikationssystem zur Verfügung gestellt werden. Das entwickelte Klassifikationssystem arbeitet in zwei Stufen: In der Lernphase wird mit manuell annotierten Daten sowie den automatisch extrahierten Merkmalen das System trainiert, um dann in der zweiten Stufe unbekannte Daten automatisch in die trainierten semantischen Kategorien zuordnen zu können. Diese Vorgehensweise erreicht in verschiedenen Kategorien Ergebnisse, die mit der manuellen semantischen Klassifikation vergleichbar sind. Die Integration der entwickelten Techniken in Produktionsumgebungen, sowie umfassendes Training, hat das Potenzial als Vorverarbeitung verschiedene Arbeitsschritte zu vereinfachen als auch kosteneffektiver zu gestalten und ermöglicht die Realisierung einer Fülle von automatisierten Anwendungen in den Bereichen Werbung, TV-Analyse, digitale Archivierung, Trend- und Nachrichtenanalyse