Knowledge-based semantic search of audiovisual content

The growth of production and demand for digital audiovisual content during the last few decades has been overwhelming. To fulfil the needs of it's users, this multimedia content should be annotated, commented and classified into appropriate semantic classes, in order to facilitate search and access to it. This thesis deals with the analysis of multimedia content and faces a few of the most important research problems in the field of multimedia analysis. More specifically, it faces problems such as image classification, image region classification and detection of concepts in images. To achieve this, certain techniques that exploit directly and indirectly the knowledge of a domain are proposed and evaluated. This knowledge is encoded either in the form of appropriate ontologies, or by modelling the context of the images and their regions, or by applying machine learning techniques. It emphasizes on the use of the bag-of-words model in order to describe the visual features of images. Finally, the techniques applied in high-level concept detection in images are extended in order to be applied to the problems of image retrieval and video summarization.Τις τελευταίες δεκαετίες έχει παρατηρηθεί μία τεράστια αύξηση τόσο στην παραγωγή, όσο και στη ζήτηση ψηφιακού οπτικοακουστικού υλικού. Για να ικανοποιηθούν οι ανάγκες των χρηστών του, πρέπει το υλικό αυτό να τεκμηριωθεί, να σχολιαστεί και να ταξινομηθεί σε κατάλληλες θεματικές κατηγορίες, διευκολύνοντας την αναζήτηση και την πρόσβαση σε αυτό. Η παρούσα διατριβή κινείται στο χώρο της ανάλυσης πολυμεσικού υλικού και αντιμετωπίζει ορισμένα από τα βασικότερα ερευνητικά προβλήματα στο χώρο αυτό. Ιδιαίτερο βάρος δίνεται στην ταξινόμηση εικόνων, την ταξινόμηση περιοχών εικόνων καθώς και την ανίχνευση εννοιών σε εικόνες. Για το σκοπό αυτό προτείνονται και αξιολογούνται τεχνικές που αξιοποιούν άμεσα ή έμμεσα υπάρχουσα γνώση για ένα θεματικό πεδίο. Η γνώση αυτή κωδικοποιείται είτε μέσω κατάλληλων οντολογιών, είτε μέσω του εννοιολογικού πλαισίου εικόνων και περιοχών εικόνων, είτε μέσω κατάλληλων τεχνικών μηχανικής μάθησης. Έμφαση δίνεται στη χρήση του μοντέλου bag-of-words για την αναπαράσταση των οπτικών χαρακτηριστικών των εικόνων. Τέλος, οι ιδέες που εφαρμόστηκαν στη ανίχνευση εννοιών σε εικόνες, με τη χρήση του μοντέλου αυτού εφαρμόζονται σε προβλήματα ανάκτησης εικόνων και δημιουργίας περιλήψεων από βίντεο