Le multimdia interactif

1
Pr A. MAJDA FST-FES 2013-2014
PLAN
Introduction au multimdia
Format de donnes multimdias
Les images
Laudio
La vido et les animations
Donnes Multimdias sur le web interactif
Lergonomie des sites
Traitement de linformation
2
Dfinition : le Multimdia
A lorigine le multimdia tait un adjectif utilis
pour qualifier une communication
La " communication multimdia " est une
communication faisant appel simultanment
plusieurs " moyens " ou " media " pour faire
passer un message.
Aujourdhui, le multimdia est utilis pour faire
rfrence aux " techniques de communication
multimdia " permettant l'intgration au sein
d'un mme systme d'information des donnes
textuelles, du son d'images fixes et /ou animes,
3
Dfinition : le Multimdia
Dfinition 1
Le multimdia est lensemble de moyens de communication
quutilisent les machines informatiques afin de communiquer
avec lhomme
Dfinition 2
Technologie de linformation permettant la manipulation
simultane de sons, dimages et/ou de textes, au moyen dun
seul dispositif informatique et de faon interactive
4
Dfinition : le Multimdia
Dispositifs multimdia
On applique ladjectif multimdia aux matriels et logiciels
permettant une transmission multimdia.
Terminologie informatique : " Ordinateur multimdia ", " document
multimdia " ou " Application multimdia "
Terminologie Telecom "service multimdia "
Donnes multimdia
Le terme multimdia sapplique aussi aux informations elles-
mmes : textes, livres, photos, musique, sons, CD, vidos,
DVD, Enregistrements, Films et plus,
Sur Internet : on trouve plusieurs de ces lments intgrs
dans les pages web : Sites multimdia ou Sites interactifs
5
Pourquoi la conception
multimdia ?
La transmission dune information multimdia peut mettre en jeu
plusieurs canaux perceptifs de ltre humain. Ces canaux peuvent
tre utiliss alternativement ou, le plus souvent, simultanment.
Des tudes ont prouves
Nous nous souvenons en moyenne de :
- 10% de ce que nous lisons
- 20% de ce que nous entendons
- 30% de ce que nous voyons.
- 50% de ce que nous voyons et entendons en mme temps,
6
Les donnes multimdia
Le multimdia se prsente sous les formes
suivantes :
Multimdia visuel : des images, textes,
Multimdia audio : des sons, musiques, paroles,
Multimdia composite : Vidos, Animations et
pages web html,...
Les navigateurs modernes prennent en charge
de nombreux formats multimdias.
7
Support de navigateur
Les premiers navigateurs Internet ne prenaient en
charge que le texte, et mme le texte tait limite
une seule police en une seule couleur.
Puis vinrent les navigateurs web avec l'aide des
couleurs, des polices et des styles de texte, puis le
support des images a t ajout.
Les diffrents navigateurs grent de diffrentes
manires Les sons, les animations et les vidos.
Certains lments peuvent tre manipule directement
sans rien ajouter, mais certains ncessitent un plug-in
et dautres exigent un contrle ActiveX.
8
Fichiers multimdia
Les lments multimdia (comme les sons ou les
vidos) sont stocks dans des fichiers multimdia.
La faon la plus courante pour dterminer le type
de mdia est de voir l'extension du fichier.
Pour un navigateur, un fichier avec lextension
.htm ou .html, est une page HTML. L'extension
.xml indique un fichier XML, et l'extension .css
indique une feuille de style.
Les formats d'image sont reconnus par les
extensions comme .png .gif et .jpeg etc. ...
9
Conception et
exploitation dun fichier
multimdia
Conception
Capture ou saisie
Numrisation
Codage (JPEG, MPEG, MP3, )
Exploitation
Chargement (Prsentation, Sites Web, )
Stockage (Serveur, DVD, USB, )
Transmission (IP, LAN, Sans-fil, )
Restitution (Dcodeur, Convertisseur,)
10
Numrisation
11
Spcificit des supports
Les supports des donnes ou des applications multimdia
doivent satisfaire deux contraintes essentielles :
possder des capacits importantes de stockage
possder des taux d'entre/sortie suffisants pour l'exploitation en
temps rel
300 pages
texte
5 photos
couleurs
2 min
son
1 min
vido
1 Mo
12.5 Mo
21 Mo
50 Mo
12
Spcificit des outils et
mthodes de dveloppement
Le dveloppement d'une application multimdia implique des
outils spcifiques adapts au type des donnes traiter ou
leur intgration.
Les outils qui sont lis au type de donnes sont
pour l'image : outils de numrisation, d'dition, de dessin, et de
retouche
pour le son : outils de numrisation, d'dition, de multiplexage et
de retouche
pour la vido : outils de numrisation, d'dition, d'animation et de
retouche
pour le texte : outils d'dition et de reconnaissance optique de
caractres
Suivant les cas, ces outils sont des composants matriels et/ou
logiciels
13
Spcificit des outils de
traitement
Actuellement les ordinateurs sont assez quips pour les appeler
Stations multimdias
Une station multimdia est un ordinateur, le plus souvent micro-
ordinateur, dot de composants matriels performants:
processeurs rapides (+2GHz)
mmoire vive de grande capacit (+1 Go)
14
Spcificit des outils de
traitement
cran >> 640x480
d'extensions spcifiques : carte son, micro-casque, microphone,
carte vido, carte rseau, modem, lecteur de CD-ROM, USB,
de modules logiciels particuliers pour l'exploitation du son, de la
vido, de l'image, de la communication (notamment le web )
15
Spcificit des outils de
diffusion
Dans le domaine du multimdia, on parle souvent
d'applications "online" et d'applications "offline"
pour indiquer que l'exploitation des donnes
multimdias s'effectue en connexion avec un
rseau informatique ou en local sans rseau.
ces deux modes d'exploitation correspondent aux
deux modes de diffusion actuels :
Diffusion par CD-ROM, DVD,..
Diffusion par le World Wide Web.
16
Outils de diffusion offline
Le disque Compacte est les moyen de stockage le plus
pratique pour le multimdia
Son utilisation premire a t pour l'enregistrement du son
sur le CD Audio en remplacement du disque vinyle
Actuellement,
CD +700 Mo
DVD 4.7 Go par couche
HD DVD 15 Go par couche
Disques Blu-ray de 25 GO par couche
17
Outils de diffusion online
L'autre mode de diffusion est Internet World Wide Web
(WWW ou Web).
Bas sur une architecture de type client-serveur
Ce service assure la dlivrance par un serveur sur un poste
client de documents multimdias encods par un langage de
description HTML (HyperText Mark up Language).
Ces documents HTML sont interprts par un logiciel
spcifique "le navigateur" install sur le poste client.
Le navigateur (browser, en anglais) permet la communication
avec le serveur et l'affichage du document.
Le protocole HTTP (HyperText Transfer Protocol) qui rgit les
communications entre le serveur et le client est l'outil de base
pour la diffusion sur rseau de documents multimdias.
18
Les images : Grand public
19
Les images : Applications
industrielles (2D et 3D)
20
limagerie mdicale
Radiologie
Tomographie
Echographie
21
Acquisition des images
22
Comment Obtenir une
image numrique ?
23
Numrisation
24
Les formats images numriques
Il existe 2 types d'images numriques
les images matricielles
les images vectorielles
25
Les images vectorielles
Les donnes sont reprsentes par des formes gomtriques
simples qui sont dcrites d'un point de vue mathmatique.
Exemple un cercle est dcrit par une information du type (cercle,
position du centre, rayon). Ces images sont essentiellement utilises
pour raliser des schmas ou des plans.
26
Courbe polygonale : on approche la courbe par plusieurs segments
Courbe de Bzier : on trace les deux extrmits de la courbe, puis en jouant sur la
direction et la norme de deux vecteurs tangents aux extrmits, on peut donner la
courbe la forme que l'on veut
Les images vectorielles
27
DXF
cr par la compagnie AutoDesk pour son logiciel de
CAO AUTOCAD.
trs rpandu dans le monde de la conception et du
dessin assist par ordinateur,
EPS (Encapsulated PostScript)
fichier en langage PostScript dcrivant le contenu
d'une image ou d'une page complte
PICT
format utilis par le Presse-Papier et MSGraph du
Macintosh
formats dimages vectorielles
28
Avantages :
Occupent peu de place en mmoire
peuvent tre redimensionnes sans perte d'information
Inconvnients
Le temps d'affichage est long
Le format vectoriel n'est pas reconnu par les navigateurs, ni par
certains logiciels multimdias. Il faut alors avoir recours un logiciel
comme Flash ou un plug-in
Il n'est pas possible de convertir une image bitmap trop complexe
(du genre photographie) en image vectorielle. Les logiciels
proposant une telle conversion ncessitent souvent l'intervention de
l'utilisateur pour faciliter la conversion
Chaque format de fichier vectoriel possdant ses propres attributs,
la compatibilit entre les formats est difficile
Les images vectorielles
29
Les images vues sur un cran de tlvision ou une
photographie sont des images matricielles (bitmap).
Obtenue l'aide d'un appareil photo numrique, d'une
camra vido numrique ou d'un scanner.
Forme d'un tableau de points ou pixels.
Les images matricielles
6 pixels
7

p
i
x
e
l
s
X 16
30
Les images matricielles
Une image matricielle est un signal numrique bidimensionnel
Chaque unit lmentaire pixel
Elle est dfinie par :
le nombre de pixels (largeur ,hauteur)
ltendue des teintes de gris ou des couleurs
Pixel(I,i,j)
I Intensit
31
Plus la densit des points est leve, plus le
nombre d'informations est grand et plus la
rsolution de l'image est leve.
Corrlativement la place occupe en mmoire et
la dure de traitement seront d'autant plus
grandes.
Les images matricielles
32
Images binaires (noir ou blanc)
Valeurs codes sur 1 bit
Pixel prend la valeur 0 (noir) ou 1(blanc)
Exemple : Image pour scanner un texte
Image
binaire
types dimages matricielles
33
Images en niveaux de gris
Valeurs codes sur 8 bits
Pixel prend une valeur entre 0(noir) et 255 (2
8
-1)(blanc)
Exemple : Image Lena code sur 256 niveaux de gris
types dimages matricielles
34
Images couleurs
Pixel est reprsent gnralement par trois valeurs numriques :
Rouge, Vert et Bleu
Rouge cod sur 8 bits
Vert cod sur 8 bits
Bleu cod sur 8 bits
Pixel cod sur 24 bits
types dimages matricielles
35
Palette de couleurs
Images couleurs
Gnralement : le type du codage utilis est RVB
(Rouge,Vert et Blue ) ou RGB
Autre type de codage des pixels CMJ
36
Palette de couleurs
37
Palette de couleurs
38
Formats images matricielles
39
La plupart des formats sont composs :
d'un en-tte contenant des attributs (dimensions
de l'image, type de codage, etc.),
suivi des donnes de l'image proprement dite.
La structuration des attributs et des donnes
diffre pour chaque format d'image.
Formats images matricielles
40
BMP (BitMaP)
Format par dfaut du Windows
Les images (16 millions de couleurs) ne sont pas
compresses
Problmes rencontrs
Volume occup en mmoire
Difficult lors des traitements : plus une image est "lourde",
plus elle ncessite de ressources matrielles, surtout pour
les transferts de donnes, en particulier sur l'internet
Pour rduire la place occupe en mmoire : Algorithmes
de compression et donc diffrents formats de stockage.
Lors du chargement de l'image, le logiciel reconnaissant le
format du fichier le dcompresse l'ouverture
Lors de son utilisation, le fichier est donc dcompress
Formats images matricielles
41
JPG/JPEG (Joint Photographic Experts Group)
Excellent ratio de compression BMP JPEG
enregistres avec l'extension .jpg ou .jpeg.
Grande rsolution, Systme de 24 bits pour enregistrer la
couleur parmi (16.777.216 couleurs) JPEG GIF
Excellent pour comprimer de gros fichiers images : photos
Accepte les images RGB et CYMK
Parmi les plus utiliss dans le monde du World Wide Web
Libre de droit
Formats images matricielles
42
PNG (Portable Network Graphics)
Peut tre transparent
n'altre pas la qualit de l'image
existe en 2 versions
PNG 8 bits : 256 couleurs
PNG 24 bits : 16 millions de couleurs
Formats images matricielles
43
GIF (Graphical Interchange Format)
Conu l'origine par la compagnie H&R Block
Format de compression qui n'accepte que les images
en couleurs cod sur 8 bits, soit 256 couleurs.
Image de milliers de couleurs convertie en format GIF
Logos et Internet
Supporte les animations et la transparence.
Formats images matricielles
44
TIFF (Tagged Image File Format)
Conu l'origine par la compagnie Aldus
C'est le choix privilgier en PAO mais c'est aussi
un choix viter pour le Web puisqu'aucun
navigateur Web ne le lit directement.
Formats images matricielles
45
Photo CD
Cr par la compagnie KODAK
Utilis par les laboratoires de photographies afin
de transfrer des ngatifs de photos sous une
forme numrique, gnralement sur un CD-ROM.
Cela vous permet d'utiliser vos propres photos
sans recourir l'utilisation d'un scanner
PCX
Bas sur une forme de run-length-encoding
Utilis par le logiciel Paintbrush sous Windows
Formats images matricielles
46
Toutes les images diffuses sur Internet sont
compresses
Le format est adopt en fonction de l'image que
vous avez :
Une photo : utilisez un JPEG.
N'importe quel graphique avec peu de couleurs
(moins de 256) : utilisez un PNG 8 bits, ou
ventuellement un GIF.
N'importe quel graphique avec beaucoup de
couleurs : utilisez un PNG 24 bits.
Une image anime : utilisez un GIF anim.
Formats images matricielles
47
Les Fichiers Audio
48
Un peu de physique
49
Le son est un signal continu dans le temps
Cest un ensemble de vibrations, produites par : des cordes
vocales, un objet, un haut-parleur, etc
Ces vibrations ont une frquence, mesure en Hertz et une
amplitude mesure en decibels
Le son numrique
Pour numriser le son , on mesure la hauteur de la courbe
sonore des milliers de fois par seconde. Cest lchantillonnage
Les vibrations sont codes dans un fichier par une suite de 0 et
de 1 (langage binaire)
50
Codage trs volumineux : 1 min de CD Audio = 8,5Mo
Une solution : la compression
1 min de MP3 = 1Mo
La compression du son
Supprimer les hautes frquences quasiment inaudibles
Supprimer les vibrations parasites
Diminuer la frquence dchantillonnage
Une solution : le VBR (Variable Bit Rate)
la frquence dchantillonnage sadapte au son
51
Mesurer la qualit du son
Frquence dchantillonnage
= nombre de mesures prises par seconde
entre 8KHz et 44KHz
Rsolution sonore
= prcision de lchelle de mesure dun chantillon
8, 16 ou 32 bits
Strophonie
Son mono, stereo, joint stereo
52
On obtient un dbit, mesur en Kbit/s, reprsentatif de la
qualit sonore.
(En VBR, le dbit est diffrent chaque instant)
dautres concepts
Le Streaming
Utilis principalement par les Webradios
Permet la diffusion et lcoute en direct du fichier audio ou
vido. On parle de Flux Audio / Vido.
DRM (Digital Rights Management) (GND en franais )
Systme de gestion et de restriction de l'utilisation d'un fichier
numrique.
Appliqu sur des formats propritaires gnralement vidos ou
audios
Les domaines d'application sont divers :
Limitation de la dure d'utilisation d'un fichier (exple : location de vido par
internet)
Rendre incompatible un fichier avec du matriel concurrent
Interdire ou limiter la copie d'un fichier achet via une plateforme de
tlchargement sur un support externe comme un CD ou un DVD.
Utilis sur les boutiques de musique en ligne (iTunes, VirginMusic, etc)
53
formats audio
Sont trs nombreux, de qualit variable
Peuvent tre regroups en 3 catgories
Les formats non-compresss
(ex : WAV, AIFF)
Les formats compresss sans perte lossless
(ex : FLAC, WMA)
Les formats compresss avec perte lossy
(ex : MP3, AAC, OGG)
54
formats audio
WAV / .wav
Format audio basique dvelopp par Microsoft
Encodage et dcodage immdiats, sans compression
+ Qualit sonore incomparable
+ Compatible avec tous les lecteurs audio
Taille des fichiers trs importante : ne pas utiliser
pour la diffusion par Internet !
55
formats audio
MP3 / .mp3
Le format le plus rpandu actuellement.
Le son est compress avec pertes (qualit sonore plus ou
moins bonne selon le dbit)
Permet de diviser par 6 ou 8 la taille d'un fichier WAV sans
trop de perte
+ Compatible avec presque tous les logiciels existants
+ Idal pour la diffusion libre par Internet
Pas de gestion des droits daccs (DRM)
Pas de streaming
56
formats audio
WMA
Alternative au MP3, plus souple mais moins rpandu
cre par Microsoft.
+ De nombreuses dclinaisons (Compress, non
compress, avec ou sans DRM, streaming)
+ Gnralement adapt la diffusion par Internet
(selon les dclinaisons)
Compatible uniquement avec les logiciels
Microsoft.
57
Advanced Audio Coding (.aac)
Concurrent direct du WMA cre par Apple
Se lit avec iTunes
Format musical pour iPod.
+ Son compress mais de trs bonne qualit
+ Possibilit de DRM : Fairplay
Compatible avec trs peu dapplications
58
formats audio
MIDI (.mid)
Format audio particulier
Pas de son , mais une succession de notes
(quivalent au son produit par un synthtiseur).
Le son est synthtis par lordinateur et dpend de
la qualit du matriel audio.
+ Taille de fichier extrmement rduite
Impossibilit de retranscrire la voix dans ce format
59
formats audio
LOGG Vorbis (.ogg)
Amlioration du MP3
librement exploitable et entirement gratuit
Se lit sans problme avec les lecteurs du monde du
logiciel Libre (Foobar2000). Pour les autres, il faut
souvent installer des codecs
+ Bonne compression, trs bonne qualit sonore
Compatible avec trs peu dapplications
60
formats audio
formats audio
FLAC
Format trs apprci puisqu'il compresse sans
perte de qualit. En contrepartie, la rduction de
taille est moindre, de 30 70 %.
Ncessite le plus souvent l'installation de plug-ins
spcifiques.
61
formats audio
Real Audio (.ra)
Pour la diffusion sur le Web
introduit par RealMedia.
Uniquement destin la diffusion par Internet
+ Bonne possibilit de compression
Peu manipulable, peu compatible avec dautres logiciels
( part RealPlayer)
62
formats audio
CD Audio (.cda)
Uniquement utilis sur les CD Audio
pour reprsenter les pistes du CD.
Les pistes sont en fait au format WAV.
+ Meilleure qualit possible, aucune compression
Exploitable en lecture seulement
63
En rsum
64
Les fichiers vido
65
Problmatiques
La vido : une succession dimages
Fichiers trs volumineux !
Comment compresser un fichier vido ?
Une vido possde souvent une bande sonore,
des sous titres, des chapitres...
Comment lier toutes ces informations dans un
mme fichier ?
66
La compression vido
Compression des images
On rduit la taille des images, et on les compresse au format JPEG.
Rduction du Nb. dimages / sec. (frame rate)
On supprime une image de temps en temps (ex : 1 image sur 5)
Estimation et compensation du mouvement
On estime le mouvement entre les images et on le code. Pour la
dcompression on compense le mouvement
67
Les codecs
Contraction de COmpression / DECompression
Un programme capable de compresser / dcompresser et
dcrypter des informations
Exemple: c'est grce au codec XviD que l'on peut regarder une vido
compresse en XviD.
Deux grandes familles de codecs :
- Les codecs compression non destructive, sans perte de donnes,
que l'on appelle galement "lossless ".
- Les codecs compression destructive avec pertes de donnes
"lossy".
Les codecs sont utiliss principalement pour des applications
audio, vido ou d'image.
68
Les codecs
LES PRINCIPAUX CODECS Sans perte Avec perte
Vido HUFFYUV / Lagarith / MSU
XviD / DivX / MPEG 2 /
Wmw / Mov
Audio Flac / APE / PCM / TTA Vorbis / Mp3 / Wma / AAC
Image GIF / PNG JPEG
69
Source :
http://www.tutoriels-animes.com/lexique.html#wmv
Les formats vidos
MPEG-2
Format vido succdant au Mpeg 1
Couramment utilis sur les DVD
Il permet galement la diffusion de programmes numriques tlvisuels
et une protection contre la copie.
DivX
appartient l'entreprise fonde par Jrme Rota : DivXNetworks.
Trs populaire
Le format DivX suit la norme MPEG-4
Compression trs performante (jusqu 7 fois plus efficace que le MPEG-2
Compatible avec la plupart des logiciels, et les platines DVD rcentes.
XviD
Algorithme de compression vido cre entre 2001 et 2002
dvelopp sous licence publique gnrale GNU.
qualit suprieure face son concurrent DivX
Le format XviD comme son homologue DivX suit la norme
MPEG-4
70
Le rle du conteneur
Son rle : runir le son et limage
Contient en plus des informations diverses :
Chapitres, Menus, Sous titres, etc
71
Conteneur (AVI,MKV, OGG,MP4 )
Vido
(MPEG2, DivX,Xdiv,)
Audio
(MP3, WMA,)
Divers
Mtadonnes
Chapitres
Sous titres
Les formats de conteneurs
Audio Video Interleave AVI
Le plus rpandu
Cre par Microsoft au dbut des annes 90
Peut regrouper au sein d'un mme fichier plusieurs flux :
99 pour l'audio
1 seul pour la vido
mais pas de textes ni de chapitrage
On retrouve frquemment l'intrieur d'un fichier avi les
formats audio mp3 ou Wav et les formats vido DivX ou
XviD.
Format trs rpandu, fonctionne sur tous les lecteurs vido
72
Les formats de conteneurs
Mkv / Matroska video
Conteneur libre apparu en 2003.
Il se dmarque de ses concurrents (avi, mov...) par le trs grand
nombre de formats qu'il peut contenir. On peut retrouver au
sein d'un fichier mkv
- Plusieurs formats audio (Ogg Vorbis, mp3, aac)
- Plusieurs formats vido (DivX, XviD, H264...)
- Plusieurs formats de sous-titre (SRT, SSA)
- Des fichiers divers comme le PDF.
Les fichiers mkv supportent le chaptrage la faon d'un DVD
vido.
Les fichiers Matroska ont toutes les qualits pour devenir un
standard.
Le format WebM reprend certaines de ses spcificits
73
Les formats de conteneurs
OGG/.ogg
Libre et maintenu par la fondation Xiph.Org
Peut contenir des audio (en gnral Vorbis)+ vido (en
gnral Theora) et texte (sous-titres
Permet le streaming et le tlchargement
MP4
Quicktime amlior
Trs souple
Plusieurs types de codecs
Streaming
Mtadata et le Chapitrage
Les formats de conteneurs
Advanced Systems Format ASF
Actuellement .asf remplac par wmv
Format dvelopp par Microsoft
Supporte tous les formats audio et vido
Plusieurs pistes audio, vido et texte
Trs utilis pour le streaming depuis internet
Compatible avec les DRM (gestion des droits
numrique)
Format utilis sur les successeurs du DVD : Blu-Ray et
HD-DVD
75
Les formats de conteneurs
FLV / .flv
Le format Flash Video
Natif d'Adobe Flash Player
Diffrents codecs vido et audio
Trs lger, il occupe un espace rduit sur les serveurs
Utilis sur Internet
Permet le streaming
Utilis par les sites de partage de vidos tels que
DailyMotion ou Youtube.
S'ouvre avec VLC ou Media Player Classic.
76
Les formats de conteneurs
MOV / .mov
Format conteneur cre par Apple
Plusieurs choix de codec, y compris haute
dfinition.
Peut contenir des pistes audio, vido, et des textes
(pour les sous titres)
Une piste peut tre galement un stream
(diffusion en temps rel par internet)
Ncessite le lecteur Quicktime
Les formats de conteneurs
RealMedia
Format dvelopp par RealNetworks
Supporte de nombreux formats (spcialement les
formats Real Audio et Real Movie)
Adapt au streaming
Supporte uniquement le CBR (Constant Bit Rate)
Lecture uniquement avec RealPlayer
3GP
Driv du MP4 pour les tlphones mobiles.
78
Les formats de conteneurs
La majorit des vidos de Wikipdia sont
fournies au format Ogg Theora. Ce format a
t choisi parce que c'est un format ouvert,
contrairement beaucoup d'autres (tels le
AVI, le MPEG ou encore le MOV), qui posent
des problmes de brevets
Comparaison des formats :
http://en.wikipedia.org/wiki/Comparison_of_
container_formats
79
Convertisseurs
MiroVideoConverter
Convertisseurs en ligne
http://www.online-convert.com/