Semantic Adaptation of Multimedia Documents

A multimedia document combines text, image, sound and video technologies. Currently, multimedia documents may have to be executed on multiple devices such as mobile phones, PDAs, desktop computers, set-top boxes, etc. Hence, usage and platform diversity requires document adaptation according to execution contexts, sometimes unpredictable at design time.We propose to abstract from format specific details by defining a structure which expresses a set of multimedia objects and the relations between them. These relations can be described qualitatively and may be temporal, spatial, hypermedia and spatio-temporal-hypermedia. This document abstraction captures document semantics because it is able to cover all the potential executions of the document. In this context, adapting amounts to find a set of executions as close as possible to potential ones which satisfy adaptation contraints imposed by the target device. For that purpose, the relations contained in the document abstraction are modified in order to satisfy these adaptation constraints. We show how to achieve this convincingly on all the document dimensionsIn order to show the applicability of our framework, we implement a prototype which adapts the temporal, spatial and hypermedia dimensions of SMIL documents. We develop specific efficient techniques for the temporal and spatial representations. Moreover, we explored other approaches such as considering multimedia object deletion.Un document multimédia marie les technologies de l'écrit, de l'image et du son. Actuellement, les documents multimédia doivent pouvoir être exécutés sur de nombreuses plates-formes (téléphones portables, PDA, ordinateurs de bureau, lecteurs de salon...). Cette diversification des utilisations et des supports nécessite l'adaptation des documents à leur contexte d'exécution, parfois imprévisible au moment de la conception du document.Pour s'affranchir des langages ou formats de description multimédia, nous abstrayons les documents en une structure exprimant l'ensemble des relations entre objets du document. Les relations entre objets sont d'ordre temporel, spatial, hypermédia voire inter-dimensionnel, et peuvent être de nature qualitative. Cette structure capture la sémantique des documents car elle est capable de couvrir chacune de ses exécutions potentielles. Dans ce contexte, adapter va consister à calculer un ensemble d'exécutions le plus proche possible de ces exécutions potentielles qui satisfont les contraintes d'adaptation imposées par une plate-forme cible. À cet effet, les relations de la structure abstraite sont modifiées de sorte de satisfaire ces contraintes d'adaptation. Nous montrons, pour chaque dimension du document, comment réaliser ceci de manière réaliste.Afin de montrer l'applicabilité d'une telle approche, nous la développons dans un cadre adapté au standard SMIL pour lequel nous déclinons les adaptations spatiales, temporelles, spatio-temporelles et hypermédia. Nous sommes amenés à développer des techniques spécifiques pour les représentations spatiales et temporelles efficaces. Nous explorons aussi des approches impliquant la suppression d'objets