Professional Documents
Culture Documents
MPEG-7
Interface de description de contenu multimdia, la norme MPEG-7
sera finalise en 2001. Elle dfinira une syntaxe et un vocabulaire
de description du contenu de documents audiovisuels, et constituant
une indexation pour la recherche et la slection de linformation associe.
MPEG-7 : le contexte,
les objectifs
Objectifs gnraux
Il existe lheure actuelle des mthodes de
description de contenu textuel, base
dindexation par mots-clefs. Mais rien
nexiste encore sur la base des caractristiques propres aux informations audiovisuelles (rythmes dune musique, couleurs dune
image, mouvements dans une vido,...). De
telles informations ne peuvent tre indexes
que par mots-clefs, ce qui doit tre fait
manuellement, et limite grandement les possibilits offertes par leur description. MPEG-7
Applications
Extraction
de description
Description
normalise
Moteur
de recherche
MPEG -- 7
Figure 1 MPEG-7 :
quoi normaliser ?
2 - 1999
Le spectre des applications existantes pouvant bnficier de MPEG-7 est trs large [2],
et de nouvelles applications en ayant lusage
se creront srement dans les prochaines
annes. De fait, MPEG-7 peut offrir une
Toute reproduction sans autorisation du Centre franais dexploitation du droit de copie est strictement interdite.
Techniques de lIngnieur, trait lectronique
E 5 375 - 1
Appel propositions
Mars 1999
Novembre 2001
Norme internationale
tat de lart
Recherches et produits existants
Les tats-Unis sont tout particulirement
la pointe de la recherche en indexation des
informations audiovisuelles et recherche par
le contenu [4]. Ltat y finance depuis plusieurs annes un programme de recherche
E 5 375 - 2
Autres normes
Rappelons ici que MPEG-7 nest nullement
une amlioration ou un concurrent des normes MPEG prcdentes. En effet, MPEG-1,
MPEG-2 et MPEG-4 taient toutes trois des
normes de compression de linformation
audiovisuelle sous forme numrique [5], et
non de reprsentation de ses caractristiques
smantiques.
Dautres normes auront en revanche des
liens plus complexes avec MPEG-7. Nous
lavons mentionn, il existe dj des normes
relatives lindexation de documents textuels. MPEG-7 ne sattachera donc pas dfinir quoi que ce soit de nouveau dans ce
domaine. Cependant, afin de pouvoir indexer
efficacement de tels contenus sil sen prsente (sous-titres, script ou tout type de
texte), MPEG-7 choisira lune de ces normes
et spcifiera un mcanisme dinterfaage de
sa syntaxe avec celle de la norme slectionne.
Il existe galement certaines normes qui
dcrivent des informations multimdia pour
des applications spcifiques, le plus souvent
par des mots-clefs. Un exemple en est la spcification DVB-SI, qui dfinit les descripteurs
de programmes tlviss pour la diffusion.
MPEG-7 se place comme on la vu dans un
cadre plus vaste. Pour une application donne, il sera donc possible davoir le choix
entre deux standards de reprsentation mais
dont les fonctionnalits et les philosophies
seront srement diffrentes.
Enfin, MPEG-7 offrira une bonne complmentarit avec la norme FIPA, qui dfinit
pour des socits dagents intelligents un
langage de communication et des structures
adaptes certaines applications : MPEG-7
devrait offrir ce langage une ontologie
adapte aux applications audiovisuelles.
Architecture
et lments
dun systme MPEG-7
Terminologie MPEG-7 :
lments considrer
Pour bien comprendre le fonctionnement
dun systme MPEG-7 il faut considrer les
lments suivants, prsents en utilisant la
terminologie dfinie et utilise par MPEG :
les donnes : elles sont lensemble des
contenus indexs par MPEG-7. Comme nous
lavons vu, ces donnes seront de prfrence
audiovisuelles, et dans ce cas disponibles
sous nimporte quel format (VHS, MPEG...),
mais peuvent tre dune autre nature, textuelles par exemple ;
la caractristique : on appelle caractristique toute caractristique de linformation
indexer pouvant avoir un sens pour certains utilisateurs ou pour certaines applications. La couleur dune image, lauteur dun
film, le rythme dune musique en sont quelques exemples ;
le descripteur (D) : un descripteur est un
modle permettant dassocier une valeur (ou
un ensemble de valeurs) une ou plusieurs
caractristiques, pour une mme donne. Un
exemple classique est lhistogramme, pour
les couleurs ;
le schma de description (DS) : cest un
modle de plus haut niveau : il dfinit une
structure et une smantique pour les descripteurs et les relations entre descripteurs. On
peut lassimiler une sorte de formulaire,
dont les champs seraient des descripteurs ;
la description : elle est lentit dcrivant
la donne. Elle est forme dun schma de
description et des instanciations des descripteurs correspondants ;
Toute reproduction sans autorisation du Centre franais dexploitation du droit de copie est strictement interdite.
Techniques de lIngnieur, trait lectronique
2 - 1999
Langage de dfinition
de description
(DDL)
Schmas de description
(DS)
Descripteurs
Gnration
de la description
Description
MPEG -- 7
Moteur
de
recherche
Codeur
Description
MPEG -- 7
code
Utilisateur
Dcodeur
Agents
filtrants
Donnes
Exemple darchitecture
de systmes MPEG-7
La figure 2 donne une vue densemble,
aussi gnrique et abstraite que possible,
dune ventuelle application MPEG-7. Ceci
ntant quun exemple, la prsence de tous
les lments reprsents ne sera pas ncessaire pour chaque application utilisant
MPEG-7. Rciproquement, pour certaines
applications, la prsence dautres lments
ou dautres flux de donnes que ceux dcrits
ici pourrait tre ncessaire.
Les pointills entourent les lments normatifs de ce systme.
On peut notamment retrouver sur cette
figure les deux types de mode daccs, push
et pull, dcrits en dbut darticle. Il est en
outre implicite que la description MPEG-7
peut tre soit stocke, avec les donnes ou
indpendamment, soit diffuse de faon synchrone avec les donnes quelle reprsente.
Pour conclure, rappelons enfin que la description MPEG-7, exprime laide du DDL,
pourra contenir des descripteurs ou des DS
non normaliss. Dans ce cas, les mthodes
ncessaires lutilisation de ces lments
(extraction, mesures de similarits...) seront
2 - 1999
Fonctionnalits,
enjeux techniques
Fonctionnalits
Les fonctionnalits de la future norme ont
t dfinies daprs ltude des applications
qui pourraient bnficier de MPEG-7 et de ce
que MPEG-7 devrait pouvoir leur proposer
pour leur offrir une valeur ajoute significative. Elles sont nombreuses et trs diverses.
Le lecteur voulant les dtailler peut se rfrer
[3]. Outre celles que nous avons dj voques dans les prcdents paragraphes,
nous pouvons citer :
la capacit reprsenter les informations diffrents niveaux de prcision :
disposer dune description chelonnable suivant diffrents critres (niveaux de priorit
parmi les caractristiques prsentes dans les
schmas de description, niveaux de prcision
des smantiques des descripteurs, niveaux
de prcision des valeurs dinstanciation des
descripteurs, etc.) ;
la capacit offrir un support performant pour diffrents types de recherche : par
similarits, par navigation, ou avec accs
des donnes complmentaires par exemple.
Enjeux techniques
De nombreux enjeux techniques seront
relever pour permettre la mise en uvre
dapplications utilisant efficacement MPEG-7.
En analyse audiovisuelle, les principales tudes porteront sur la segmentation automatique des informations audiovisuelles en
entits temporelles cohrentes partir dune
donne de dpart quelconque, et surtout sur
lextraction dans ces entits de caractristiques haut ou bas niveau, menant des descripteurs. Du ct de laccs linformation,
des tudes devront tre menes sur les stratgies dindexation et de recherche, notamment pour prendre en compte le volume des
descriptions, qui, ds quil sagit de vido par
exemple, devient sans commune mesure
avec celui associ aux traditionnelles donnes textuelles.
En outre, pour concevoir la norme ellemme, il faudra combiner les savoir-faire de
deux communauts jusqualors relativement
distinctes : celle de laudiovisuel et celle des
bases de donnes, afin de concevoir et de
choisir le langage de dfinition des descriptions dune part, et dautre part les descripteurs et les schmas de description qui
figureront dans la norme.
Sylvie JEANNIN
Ingnieur de recherche
Responsable du projet MPEG-7 au sein
du groupe Image et Communication,
Laboratoires dlectronique Philips SAS.
Toute reproduction sans autorisation du Centre franais dexploitation du droit de copie est strictement interdite.
Techniques de lIngnieur, trait lectronique
E 5 375 - 3
Rfrences bibliographiques
Documents [1] [3] ractualiss en permanence sur
http://drogo.cselt.stet.it/mpeg :
[1]
[2]
E 5 375 - 4
[3]
[4]
[5]
MPEG-7 Requirements.
Special issue on Content-Based Image Retrieval Systems, IEEE Computer Magazine,
vol. 28, no 9, sept. 1995.
FERT (E.). MPEG-1, MPEG-2, MPEG-4.
E 5 360 Trait lectronique. Techniques de
lIngnieur ( paratre).
Normalisation
ISO/IEC JTC1/SC29/WG11 MPEG
http://drogo.cselt.stet.it/mpeg
Toute reproduction sans autorisation du Centre franais dexploitation du droit de copie est strictement interdite.
Techniques de lIngnieur, trait lectronique
2 - 1999